open-compass/vlmevalkit 是一个用于衡量大规模视觉语言模型（LVLM）性能的开源评测工具。其评测对象是同时处理图像与文本的大规模多模态模型（LMM），该仓库的最新版本为 v0.2。仓库说明指出，它支持 220 多个 LMM 和 80 多个基准测试。评测的基本流程采用生成式方式：先生成模型的回答，再与正确答案进行匹配。
该工具将多个 VLM 与多个基准测试整合进同一套运行与评分流程，使不同对象的结果能够在同一套程序下相互比较。README 说明，既可以用一条命令在多个基准测试上完成评测，也会对所有 LVLM 应用生成式（generation-based）评测，同时提供精确匹配方式，以及由 LLM 从模型回答中提取正确答案的方式两种。Python 包名为 vlmeval；在评测自有模型时只需实现 generate_inner()，数据下载与预处理、推理以及指标计算都由该工具负责处理。实现语言为 Python，许可证为 Apache-2.0，创建于 2023 年 12 月 1 日，是一个拥有 4448 个 star 的公开仓库。
不过，由于所提供的记录中没有变更条目，因此无法得知 v0.2 究竟改动了什么。研究记录中的评分项为 10 分制，但只有 momentum（发展势头）一项得到 2.1 分，新颖性、技术、质量各项均未给出数值，其他判断依据大多为空。用于说明判断依据的 rationale（理由）项也未填写。没有依据可以说明改进的幅度，变更内容需要直接查看发布记录。仅从记录所包含的事实来看，目前比较现实的用途，是把多个 VLM 与多个基准测试放在同一套程序下运行一遍并作比较。