模型评估
主要衡量模型或智能体通用能力、质量、可靠性或效率的基准、数据集、评判器和框架。以安全、越狱、注入、有害性或防护风险为重点的评估,无论采用基准还是框架形式,均归入 ai-safety-evaluation。不包括训练工具和生产执行系统。
子领域
| 项目 | 用途 | Star | 语言 | 许可证 | 最新版本 |
|---|---|---|---|---|---|
| scaleapi/agentenv-framework | 供研究者、工程师和领域专家协作构建逼真且可复现的强化学习环境。 | ★ 322 | Python | Apache-2.0 | v0.9.1334 |
| qwenlm/blenderworld | 一个包含223项任务和2651条二元标准的Blender基准,用于评估从文本、图像和视频创建可编辑3D场景的代理。 | ★ 124 | Python | MIT | — |
| composo-ai/dishwasherbench | 在真实洗碗机物理仿真游戏中评估语言模型智能体的目标达成能力。 | ★ 70 | TypeScript | MIT | — |
| cmu-l3/reuf2f | 一个让编程代理证明 Lean 形式化的本科研究问题中定理或反例的基准。 | ★ 9 | Lean | NOASSERTION | — |