モデル・エージェント・ベンチマーク
モデルやエージェントを比較するためのベンチマークスイート、リーダーボード、データセット、課題環境。外部提供のテストのみを実行する評価オーケストレーションソフトウェアは含まない。
| プロジェクト | 用途 | スター | 言語 | ライセンス | 最新リリース |
|---|---|---|---|---|---|
| qwenlm/blenderworld | 223のタスクと2651の判定基準を持つBlenderベンチマークで、テキスト・画像・動画から編集可能な3Dシーンを作るエージェントを評価します。 | ★ 124 | Python | MIT | — |
| composo-ai/dishwasherbench | 実在の食器洗い機の物理シミュレーションゲームで言語モデルエージェントの目標達成能力を評価する。 | ★ 70 | TypeScript | MIT | — |
| cmu-l3/reuf2f | コーディングエージェントが Lean で形式化した学部研究問題の定理や反例を証明するベンチマークです。 | ★ 9 | Lean | NOASSERTION | — |