github.devotd.
新发现AI 智能体

jevagentharness/jevagentharness — 编码智能体的模型路由代理

jevagentharness/jevagentharness 是一个对编码智能体的每个步骤进行分类并分配模型的代理,本文介绍 README 中在 Terminal-Bench 2.0 上的实测结果及其局限。

星标
★ 5
复刻
0
语言
Python
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

jevagentharness/jevagentharness 是一个本地兼容 OpenAI 的代理,由一个小型判定模型把编码智能体的每个步骤分类为“普通”或“难题”,再据此分配模型。普通步骤交给快速模型,难题交给更强的模型。据 README 说明,需要 Python 3.10 及以上版本,项目仍处于 alpha 阶段。

README 公布了按各 harness 各运行一次 Terminal-Bench 2.0 所持 74 个任务的结果。mini-swe-agent 的成功率从 66.2% 降到 63.5%,下降 2.7 个百分点,95% 区间为 -14.9~+8.1。每个任务的成本从 0.91 美元降到 0.33 美元,减少 64%;耗时从 13.7 分钟降到 7.9 分钟,减少 43%。pi 和 DeepSeek Harness 在成功率没有下降的情况下,成本降低 28~31%,耗时降低 4~15%。但仍留在强模型上的步骤占比为 45~55%。

节省幅度取决于快速模型的价格差。每 token 便宜 2.7 倍的 Flash 只节省了 7~13%,而便宜 4~7 倍的 Flash-Lite 则节省了 28~64%。Terminus-2 中,基线的 74 个任务有 53 个以超时告终,作者表示无法据此得出结论。运行前注册的协议、各任务的原始数据、arXiv 2610.21412、模型与数据均已公开。不过这是 alpha 项目作者的自行实测,仅凭 Terminus-2 的结果无法判断其性能。