eleutherai/lm-evaluation-harness의 최신 릴리스 v0.4.13이 GitHub에 게시되어 있다. 이 저장소는 생성형 언어 모델을 여러 평가 과제로 시험하는 통합 프레임워크다. 다만 제공된 기록에는 v0.4.13의 변경 내역과 공개 일자가 없어, 이번 릴리스에서 무엇이 달라졌는지는 확인할 수 없다.
이 프레임워크의 목적은 언어 모델 평가 작업을 명령줄 인터페이스(CLI)와 설정으로 통일해 여러 모델 백엔드에서 같은 방식으로 실행하는 것이다. README는 60개 이상의 표준 학술 벤치마크와 수백 개의 하위 과제 및 변형을 구현했다고 밝힌다. 저장소 설명이 말하는 few-shot 평가, 즉 사례로 모델의 반응을 시험하는 방식이 기본 전제다.
모델 평가는 transformers·vLLM·OpenAI API 경로로 수행할 수 있고, 사용자 정의 프롬프트와 평가 지표도 지원한다. 공개 프롬프트를 함께 제공해 재현성과 논문 간 비교 가능성을 높인다고 밝힌다. Hugging Face Open LLM Leaderboard의 백엔드로 사용되며, 저장소는 2020년 8월 28일에 만들어졌다. 별 수는 14279개, 주 언어는 Python, 라이선스는 MIT이다.
판단에 쓸 수 있는 자료는 이 정도다. 기록에 남은 이 프로젝트의 모멘텀 점수는 10점 만점에 4.0이고, novelty·tech·quality 점수는 값이 주어지지 않았다. 점수가 어떤 기준으로 매겨졌는지는 함께 적혀 있지 않아, 4.0이라는 숫자만으로 이 도구를 피할지 쓸지 정할 수는 없다. v0.4.13의 변경 목록을 릴리스 노트에서 직접 확인하기 전까지는 새 버전으로 옮길 이유를 판단하기는 이르다.