evolvinglmms-lab/lmms-eval 是一个把文本、图像、视频、音频任务收拢在同一套工具里的多模态模型评测工具。按 GitHub 发布记录，最新版本是 v0.7.3，而这一版本包含的变更内容并没有以发布说明的形式给出。
该工具让多个模型在相同的评测任务、相同的流程下运行以便比较。评测框架（harness）指的是把多个被测对象放在相同条件下运行以作对照的框架。README 说明其目的是衡量大型多模态模型的真实能力。它支持图像、视频、音频评测任务以及多个模型系列，并说明也可以通过兼容 OpenAI 的 API 端点评测模型。它用模型适配器和统一的任务配置把工作组织起来。它以在同一模型和基准测试上得到一致结果为目标，并把可复现性、效率和可靠性作为核心原则。仓库的主要语言是 Python，创建于 2024 年 3 月 7 日，星标数为 4461。
不过在可核实的资料中，许可证标注为 NOASSERTION，实际使用条款需要直接查看仓库才能确认。新颖性、技术、质量三项评分为空，只有动量分数偏低，为 2.1。能判断的只有这个工具所覆盖的范围和结构。如果是需要不断替换模型来做对比的工作，它看起来是一个值得列入候选的工具。