evolvinglmms-lab/lmms-eval は、テキスト・画像・動画・音声のタスクをひとつのツールで扱うマルチモーダルモデル評価ツールだ。GitHub のリリース基準での最新バージョンは v0.7.3 で、このバージョンに含まれる変更項目はリリースノートとしては示されていない。
このツールは複数のモデルを同じ評価タスクと同じ手順で実行して比較する。評価ハーネス（harness）とは、複数の対象を同じ条件に固定して実行し比較する枠組みを指す。README は、マルチモーダルな大規模モデルの実力を測ることが目的だと明かしている。画像・動画・音声の評価タスクと複数のモデル系をサポートし、OpenAI 互換の API エンドポイントでもモデルを評価できるとしている。モデルアダプタと共通タスク構成で作業をまとめている。同じモデルとベンチマークで一貫した結果を出すことを目標とし、再現性・効率性・信頼性を中核原則に据える。リポジトリの主言語は Python で、2024 年 3 月 7 日に作成され、スター数は 4461 だ。
ただし確認できる資料ではライセンスは NOASSERTION と表記されており、実際の利用条件はリポジトリを直接確認する必要がある。新規性・技術・品質の各スコアは空で、モメンタムスコアのみ 2.1 と低めに出た。判断できるのは、このツールが扱う範囲と構造までだ。モデルを何度も差し替えて比較する作業であれば、候補として押さえておく価値のあるツールに見えてくる。