evolvinglmms-lab/lmms-eval은 텍스트·이미지·영상·오디오 작업을 하나의 도구로 아우르는 멀티모달 모델 평가 도구다. GitHub 릴리스 기준 최신 버전은 v0.7.3이며, 이 버전에 담긴 변경 항목은 릴리스 노트로 주어지지 않았다.
이 도구는 여러 모델을 같은 평가 태스크와 같은 절차로 돌려 비교한다. 평가 하네스(harness)는 여러 대상을 동일 조건에 붙여 돌리는 비교 틀을 뜻한다. README는 멀티모달 대규모 모델의 실제 역량을 재는 것이 목적이라고 밝힌다. 이미지·영상·오디오 평가 태스크와 여러 모델 계열을 지원하며, OpenAI 호환 API 엔드포인트로도 모델을 평가할 수 있다고 적었다. 모델 어댑터와 공통 태스크 구성으로 작업을 묶는다. 같은 모델과 벤치마크에서 일관된 결과를 내는 것을 목표로 삼고 재현성·효율성·신뢰성을 핵심 원칙으로 둔다. 저장소의 주 언어는 Python이고 2024년 3월 7일에 만들어졌으며, 스타 수는 4461이다.
다만 확인 가능한 자료에서 라이선스는 NOASSERTION으로 표기돼 있어 실제 사용 조건은 저장소를 직접 확인해야 한다. 새로움·기술·품질 점수는 비어 있고 모멘텀 점수만 2.1로 낮게 나왔다. 판단할 수 있는 것은 이 도구가 다루는 범위와 구조까지다. 여러 모델을 갈아끼우며 비교해야 하는 작업이라면 후보로 적어 둘 만한 도구로 보인다.