modelscope/evalscope 发布了 v1.14.0。本次版本以 2026 年 10 月 20 日的 GitHub 发布形式推出,新增了用于决策、代码、表格、金融、空间和多模态评测的资源,并扩展了评测指标与数据集加载(读取评测资源的过程)。同时还一并修复了多项打分、缓存、并发和网页任务相关的错误。
evalscope 是一个框架,在同一个工具中处理大语言模型(LLM)、视觉语言模型(VLM)和 AI 生成内容(AIGC)的评测与性能基准测试。性能基准测试是指在相同条件下比较模型以衡量性能的工作,该仓库把这一流程集中到了一处。仓库简介简要概括了这款工具,同时把它定义为用户可以替换指标和数据集来使用的形态。其结构是把用于评测的资料和指标作为用户可配置项来处理,本次版本扩大了这一范围。该仓库在 GitHub 上有 3571 个 star。
不过,给出的发布信息中并没有使用新增资源得到的评测分数,也没有按模型对比的结果,同样也没有性能提升的数值。各项资源分别以什么名称加入,需要在发布说明(https://github.com/modelscope/evalscope/releases/tag/v1.14.0)中确认。由于错误修复也一并包含在内,这个版本可以看作是把新增资源与执行侧错误修复同时带来的发布。由于没有分数对比,仅凭这些信息无法判断模型之间的优劣。