open-compass/vlmevalkit は、大規模視覚言語モデル（LVLM）の性能を測定するオープンソースの評価ツールである。対象は画像とテキストを同時に扱う大規模マルチモーダルモデル（LMM）であり、このリポジトリの最新リリースは v0.2 である。リポジトリの説明では、LMM を 220 以上、ベンチマークを 80 以上サポートしていると記されている。評価の基本フローは生成ベース方式であり、モデルの回答を生成したうえで正解と照合する。
このツールは複数の VLM と複数のベンチマークを単一の実行・採点フローにまとめ thereby、対象が異なる結果を同じ手順のもとで比較できるようにしている。README では、一度のコマンドで複数のベンチマークを評価でき、すべての LVLM に生成ベース（generation-based）評価を適用することで、正解一致方式と、LLM を用いてモデルの回答から正解を抽出する方式との二つを提供すると説明している。Python パッケージ名は vlmeval で、自前のモデルを評価する場合は generate_inner() を実装するだけで、データダウンロードと前処理、推論、メトリクス計算をツールが引き受け処理する。実装言語は Python、ライセンスは Apache-2.0、作成日は 2023 年 12 月 1 日で、スター 4448 件の公開リポジトリである。
ただし、v0.2 が何を変えたのか、提示された記録に変更箇所の記載がないため確かめることはできない。研究記録のスコア項目は 10 点満点だが、momentum のみ 2.1 点が与えられ、新規性・技術・品質の各項目には値が記載されておらず、他の判断根拠の大部分は空欄である。判断根拠を記す rationale（理由）項目も未記入である。改善の幅を示す根拠はなく、変更内容についてはリリース記録を直接確認する必要がある。記録に含まれる事実だけを見れば、現時点では複数の VLM と複数のベンチマークを同じ手順で走らせて比較する用途に使うのが現実的である。