github.devotd.
新发现评测

yuyaoge/doc2harness — 编码代理框架基准测试

Doc2Harness 基准测试的官方代码仓库,用于衡量模型能否自行构建编码代理的框架本身。

仓库信息yuyaoge/doc2harness ↗

Doc2Harness 基准测试的官方代码仓库,用于衡量模型能否自行构建编码代理的框架本身。

GitHub 项目说明: Official Code for the paper "Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents "

星标
★ 113
复刻
1
语言
Python
许可证
NOASSERTION
查看原始来源 ↗在 GitHub 查看 ↗

yuyaoge/doc2harness 是 Doc2Harness 论文的官方代码仓库,用于评估模型能否自行构建编码代理的框架(harness)。框架是包裹在代理外部的执行配置,在这个仓库里,它正是模型必须亲手构建的对象。该仓库是一个部分开源的版本,公开了 94 个场景,运行需要 Python 3.11+ 和 Docker。

这个仓库的关键之处在于评估轴本身就是新的。它衡量的不是模型多会使用一块补丁,而是多会构建编码代理的框架。第 1 步是在隔离容器中运行 OpenCode,让模型在只有开发文档和接口的骨架之上实现框架。第 2 步是冻结完成的框架,然后看脚本化的模拟模型能否在另一个容器中端到端运行。观测通道明确指定为四个:模型请求、磁盘文件、退出码和命令输出;每个场景还附带一个用于过滤空通过的对照场景。

不过它的边界也很清楚。许可证标注为 NOASSERTION,无法确认正式许可证。排行榜上 19 个模型的数据,仅凭公开部分无法复现,README 也自行说明剩余案例未公开。就考察构建框架的能力这一维度而言,目前值得参考;但要依据排行榜数据讨论模型排名,还为时过早。