open-compass/opencompass는 대규모 언어 모델(LLM)의 성능을 같은 기준으로 비교·측정하는 평가 플랫폼이다. README는 다양한 모델과 추론 백엔드를 지원하고, 데이터셋과 모델 설정부터 추론, 평가, 결과 요약까지를 한 워크플로우로 묶는 원스톱 도구라고 설명한다. 이 저장소의 가장 최근 릴리스는 0.5.4이고, 제공된 자료에는 그 버전에 담긴 변경 항목이 적혀 있지 않다.
모델과 데이터셋 설정, 평가, 결과 집계를 공통 체계로 묶어 실행하는 것이 이 프로젝트의 중심이다. OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek 등 여러 제공사의 모델을 100개 이상 데이터셋으로 평가하며, 다루는 영역은 지식, 추론, 코딩, 과학, 언어, 롱컨텍스트(long context), 안전으로 나뉜다. 구현 언어는 Python이고 라이선스는 Apache-2.0이다. 저장소는 2023년 6월 15일에 생성되어 별 7,530개를 모았고, README는 이 도구를 개방적이고 재현 가능하며 확장 가능하도록 설계했다고 밝힌다.
다만 최신 릴리스가 0.5.4라는 사실만으로 이번 버전에서 무엇이 달라졌는지는 알 수 없다. 연구 기록의 점수 항목 가운데 모멘텀(momentum)만 10점 만점에 1.6점으로 낮게, 신규성·기술·품질 항목은 값이 주어지지 않았다. 평가 결과의 신뢰도는 데이터셋 구성과 실행 절차를 직접 살펴봐야 알 수 있고, 지금으로서는 여러 모델을 같은 조건 아래 비교해 보는 도구로 보는 것이 현실적이다.