open-compass/opencompass は、大規模言語モデル（LLM）の性能を同じ基準で比較・測定する評価プラットフォームです。README は、多様なモデルと推論バックエンドに対応し、データセットとモデル設定から推論、評価、結果のまとめまでを 1 つのワークフローにまとめるワンストップツールと説明しています。このリポジトリの最新リリースは 0.5.4 で、提供された資料にはそのバージョンに含まれる変更点が記載されていません。
モデルとデータセットの設定、評価、結果集約を共通の仕組みでまとめて実行することが、このプロジェクトの中心です。OpenAI、Anthropic、Gemini、Qwen、GLM、DeepSeek など複数のプロバイダのモデルを 100 件以上のデータセットで評価し、扱う領域は知識、推論、コーディング、科学、言語、長文脈（long context）、安全性に分かれます。実装言語は Python、ライセンスは Apache-2.0 です。リポジトリは 2023 年 6 月 15 日に作成され、スター 7,530 個を集めています。README は、このツールを開かれた、再現可能で拡張可能なものとして設計したと明かしています。
ただし、最新リリースが 0.5.4 であるということだけでは、このバージョンで何が変わったのかを知ることはできません。評価記録のスコア項目のうち、モメンタム（momentum）だけが 10 点満点中 1.6 点と低く、新しさ・技術・品質の各項目には値が与えられていません。評価結果の信頼度はデータセットの構成と実行手順を直接確認しなければならず、現時点では複数のモデルを同じ条件のもとで比較するためのツールとして捉えるのが現実的です。