github.devotd.

模型评估

主要衡量模型或智能体通用能力、质量、可靠性或效率的基准、数据集、评判器和框架。以安全、越狱、注入、有害性或防护风险为重点的评估,无论采用基准还是框架形式,均归入 ai-safety-evaluation。不包括训练工具和生产执行系统。

子领域

该领域的项目 (4)
项目用途Star语言许可证最新版本
scaleapi/agentenv-framework供研究者、工程师和领域专家协作构建逼真且可复现的强化学习环境。★ 322PythonApache-2.0v0.9.1334
qwenlm/blenderworld一个包含223项任务和2651条二元标准的Blender基准,用于评估从文本、图像和视频创建可编辑3D场景的代理。★ 124PythonMIT—
composo-ai/dishwasherbench在真实洗碗机物理仿真游戏中评估语言模型智能体的目标达成能力。★ 70TypeScriptMIT—
cmu-l3/reuf2f一个让编程代理证明 Lean 形式化的本科研究问题中定理或反例的基准。★ 9LeanNOASSERTION—