open-compass/vlmevalkit는 대규모 비전-언어 모델(LVLM)의 성능을 측정하는 오픈소스 평가 도구다. 대상은 이미지와 텍스트를 함께 다루는 대규모 다중 모달리티 모델(LMM)이고, 이 저장소의 최신 릴리스는 v0.2다. 저장소 설명은 LMM을 220개 이상, 벤치마크를 80개 이상 지원한다고 밝힌다. 평가의 기본 흐름은 모델의 답변을 만든 뒤 정답과 맞추는 생성 기반 방식이다.
이 도구는 여러 VLM과 여러 벤치마크를 하나의 실행·채점 흐름으로 묶어서, 서로 다른 대상의 결과를 같은 절차 아래에서 비교할 수 있게 한다. README는 한 번의 명령으로 여러 벤치마크에서 평가할 수 있고, 모든 LVLM에 생성 기반(generation-based) 평가를 적용해 정답 일치 방식과 LLM으로 모델 답변에서 정답을 추출하는 방식 두 가지를 모두 제공한다고 설명한다. 파이썬 패키지명은 vlmeval이며, 자체 모델을 평가할 때는 generate_inner()만 구현하면 데이터 다운로드와 전처리, 추론, 지표 계산을 도구가 맡아 처리한다. 구현 언어는 Python이고 라이선스는 Apache-2.0이며, 2023년 12월 1일 만들어져 별 4448개를 모은 공개 저장소다.
다만 v0.2가 무엇을 바꿨는지는 제공된 기록에 변경 항목이 없어 알 수 없다. 연구 기록의 점수 항목은 10점 만점인데, 모멘텀(momentum)만 2.1점이 주어졌고 신규성·기술·품질 항목은 값이 주어지지 않아 다른 판단 근거가 대부분 비어 있다. 판단 근거를 담는 근거 설명(rationale) 항목도 채워지지 않았다. 개선 폭을 말할 근거는 없고, 변경 내용은 릴리스 기록을 직접 확인해야 한다. 기록에 담긴 사실만 놓고 보면, 지금으로서는 여러 VLM과 여러 벤치마크를 같은 절차로 돌려 비교해 보는 용도로 쓰는 것이 현실적이다.