github.devotd.
发布评测

mupt-ai/self-bench prod-20261015-44ef8ca — 恢复镜像构建验证

mupt-ai/self-bench 的生产发行版 prod-20261015-44ef8ca 修复了在未配置镜像构建器的环境中创建新任务失败的问题。

仓库信息mupt-ai/self-bench ↗

Benchmark coding agents and models on your own repository with private Harbor-formatted evals built from its merged pull requests.

星标
★ 31
复刻
1
语言
TypeScript
许可证
MIT
最新版本
prod-20261016-dc43658
查看原始来源 ↗在 GitHub 查看 ↗

mupt-ai/self-bench 是一个项目,使用基于仓库合并拉取请求构建的私有 Harbor 格式评估来对编码代理和模型进行基准测试。生产发行版 prod-20261015-44ef8ca 修复了在未配置镜像构建器的环境中创建新任务失败的问题。根据发行说明,它现在在这些环境中也会重新验证源代码构建。这一改动恢复了此前在没有镜像构建器时无法创建任务的路径。

该项目的评估基于用户仓库中已合并的改动生成,并且是非公开评估集而非公开评估集。因此,它的重点是针对特定仓库的变更历史来评估代理和模型,而不是作为衡量通用编码能力的通用测试。本次修改同样没有改变评估方式或分数计算方式,而是重新启用了创建任务所需的源代码构建验证路径。发行说明中提到,新任务失败时会出现提示需要已配置的 Modal 镜像构建器的消息。

已确认的范围仅限于恢复在未配置镜像构建器的环境中创建任务的能力。由于发行摘要没有说明其他构建环境或评估结果是否发生变化,不能仅凭这次修改就认为基准性能或评估范围发生了变化。仓库说明提到评估由合并的拉取请求生成,但本次发行涉及的改动并非评估内容,而是用于运行这些评估的构建路径。因此,把这次发行看作恢复因缺少镜像构建器而被阻断的任务创建,比看作新增评估功能更为准确。