모델 평가
모델·에이전트의 일반 능력, 품질, 신뢰성 또는 효율성을 주로 측정하는 벤치마크, 데이터셋, 평가자 및 하네스입니다. 안전성, 탈옥, 인젝션, 유해성 또는 보안 중심 평가는 벤치마크·하네스 형식과 관계없이 ai-safety-evaluation에 속합니다. 학습 도구와 프로덕션 실행 시스템은 제외합니다.
세부 분야
| 프로젝트 | 하는 일 | 스타 | 언어 | 라이선스 | 최근 릴리스 |
|---|---|---|---|---|---|
| scaleapi/agentenv-framework | 현실적인 강화학습 환경을 연구자·엔지니어·전문가가 함께 구축하도록 지원하는 프레임워크입니다. | ★ 322 | Python | Apache-2.0 | v0.9.1334 |
| qwenlm/blenderworld | 텍스트·이미지·영상으로 편집 가능한 3D 장면을 만드는 에이전트를 평가하는 223개 과제의 Blender 벤치마크입니다. | ★ 124 | Python | MIT | — |
| composo-ai/dishwasherbench | 실제 식기세척기 물리 시뮬레이션 게임에서 언어 모델 에이전트의 목표 달성 능력을 평가한다. | ★ 70 | TypeScript | MIT | — |
| cmu-l3/reuf2f | 코딩 에이전트가 Lean으로 형식화한 학부 연구 문제에서 정리나 반례를 증명하게 하는 벤치마크입니다. | ★ 9 | Lean | NOASSERTION | — |