モデル評価
モデルやエージェントの一般能力、品質、信頼性、効率を主に測定するベンチマーク、データセット、評価器、ハーネス。安全性、脱獄、インジェクション、有害性、セキュリティを主題とする評価は、ベンチマークかハーネスかに関係なくai-safety-evaluationに分類する。学習ツールと本番実行システムは除く。
詳細分野
| プロジェクト | 用途 | スター | 言語 | ライセンス | 最新リリース |
|---|---|---|---|---|---|
| scaleapi/agentenv-framework | 研究者・エンジニア・領域専門家が現実的で再現可能な強化学習環境を共同構築するフレームワークです。 | ★ 322 | Python | Apache-2.0 | v0.9.1334 |
| qwenlm/blenderworld | 223のタスクと2651の判定基準を持つBlenderベンチマークで、テキスト・画像・動画から編集可能な3Dシーンを作るエージェントを評価します。 | ★ 124 | Python | MIT | — |
| composo-ai/dishwasherbench | 実在の食器洗い機の物理シミュレーションゲームで言語モデルエージェントの目標達成能力を評価する。 | ★ 70 | TypeScript | MIT | — |
| cmu-l3/reuf2f | コーディングエージェントが Lean で形式化した学部研究問題の定理や反例を証明するベンチマークです。 | ★ 9 | Lean | NOASSERTION | — |