modelscope/evalscope의 최신 릴리스는 v1.14.0이다. EvalScope는 ModelScope Community가 만든 Python 프레임워크로, README는 한 명령으로 모델 역량 평가와 추론 성능 스트레스 테스트를 시작할 수 있다고 설명한다. 대상 범위는 LLM, VLM, Embedding, Reranker, AIGC와 에이전트까지 폭넓다.
평가 항목으로 MMLU, C-Eval, GSM8K 같은 벤치마크가 들어 있고, OpenCompass, VLMEvalKit, RAGEval 같은 여러 평가 백엔드와 통합된다. 성능 쪽에서는 TTFT(첫 토큰까지 걸리는 시간)와 TPOT(출력 토큰당 시간) 같은 지표를 측정하고, Web Dashboard에서 모델 비교와 평가 보고서, 상세 결과를 확인할 수 있다. 저장소는 2023년 12월에 만들어졌고 라이선스는 Apache-2.0이며 별 수는 3565개다.
다만 v1.14.0에서 무엇이 바뀌었는지는 이 기록에 릴리스 노트가 없어 확인되지 않는다. 근거는 README가 밝힌 기능 범위와 모멘텀 점수 2.8(10점 기준)까지다. 성능 측정 결과 수치는 실려 있지 않고 지표를 측정한다는 설명만 있어 모델 간 우열은 판단하기 어렵다. 모델 능력 평가와 성능 스트레스 테스트를 한 도구로 묶는 구성은 실용적이지만, 변화 내용을 알 수 없는 상태에서 기능을 먼저 살펴볼 만한 범위로 보인다.