modelscope/evalscope の最新リリースは v1.14.0 である。EvalScope は ModelScope Community が作った Python フレームワークで、README ではモデル能力評価と推論性能ストレステストをコマンド一つで開始できると説明している。対象範囲は LLM、VLM、Embedding、Reranker、AIGC、エージェントまで幅広い。
評価項目には MMLU、C-Eval、GSM8K などのベンチマークが含まれ、OpenCompass、VLMEvalKit、RAGEval など複数の評価バックエンドと統合される。性能面では TTFT（最初のトークンまでの時間）や TPOT（出力トークンあたりの時間）などの指標を測定し、Web Dashboard でモデルの比較、評価レポート、詳細結果を確認できる。リポジトリは 2023 年 12 月に作成され、ライセンスは Apache-2.0、スター数は 3565 である。
ただし、v1.14.0 で何が変更されたかは、この記録にリリースノートがないため確認できない。根拠は README が示す機能範囲と、momentum スコア 2.8（10 点満点）だけである。性能測定の結果の数値は載っておらず、指標を測定するという説明のみなので、モデル間の優劣は判断しにくい。モデル能力評価と性能ストレステストを一つのツールにまとめる構成は実用的だが、変更内容を知らない状態では、まず機能を確認してみる価値のある範囲に見える。