modelscope/evalscope가 v1.14.0을 공개했다. 2026년 10월 20일 GitHub 릴리스로 나온 이번 버전은 의사결정·코드·표·금융·공간·멀티모달 평가용 자료를 추가하고, 평가 지표와 데이터셋 로딩(평가 자료를 읽어들이는 과정)을 확장했다. 다수의 채점·캐시·동시성·웹 작업 오류도 함께 수정했다.
evalscope는 대규모 언어 모델(LLM), 시각 언어 모델(VLM), AI 생성 콘텐츠(AIGC)의 평가와 성능 벤치마킹을 한 도구에서 다루는 프레임워크다. 성능 벤치마킹은 같은 조건에서 모델을 비교해 성능을 재는 작업이며, 이 저장소는 그 절차를 한곳에 모았다. 저장소 설명은 이 도구를 간결하게 정리하면서 사용자가 지표와 데이터셋을 바꿔 쓸 수 있는 형태로 정의한다. 평가에 쓸 자료와 지표를 사용자 설정으로 바꾸어 다루는 구조이며, 이번 버전은 그 범위를 넓혔다. GitHub 스타는 3571개다.
다만 주어진 릴리스 정보에는 새로 추가된 자료로 얻은 평가 점수나 모델별 비교 결과가 없다. 성능 개선 수치도 없다. 자료가 각각 어떤 이름으로 들어갔는지는 릴리스 노트(https://github.com/modelscope/evalscope/releases/tag/v1.14.0)에서 확인해야 한다. 오류 수정이 함께 들어온 만큼 이 버전은 자료 추가와 실행 쪽 오류 수정이 나란히 들어간 릴리스로 읽힌다. 점수 비교가 없으니 모델 간 우열은 이 정보만으로 가릴 수 없다.