github.devotd.
新发现评测

evaldock/evaldock — 代理与插件通用评估框架

EvalDock(evaldock/evaldock)是一个 TypeScript 端到端评估框架,用同一个任务运行不同的代理和代理内部的插件配置,留下分数与依据以便比较。

仓库信息evaldock/evaldock ↗

EvalDock(evaldock/evaldock)是一个 TypeScript 端到端评估框架,用同一个任务运行不同的代理和代理内部的插件配置,留下分数与依据以便比较。

GitHub 项目说明: An end-to-end evaluation framework for heterogeneous agents and plugins.

星标
★ 47
复刻
0
语言
TypeScript
查看原始来源 ↗在 GitHub 查看 ↗

EvalDock(evaldock/evaldock)是一个端到端(end-to-end)评估框架,把不同的代理以及同一代理内部的插件配置作为一个工作单元来运行并评估。它使用 TypeScript 编写,仓库创建于 2026 年 9 月 30 日。目前还没有公开发布。

这款工具瞄准的问题是,代理评估按框架各自割裂。EvalDock 把不同的代理和插件作为一套来评估。它用执行适配器封装每个代理各自不同的运行方式,同时共享数据集、追踪格式与评估判定。所谓端到端,是指把交付任务之后出现工具调用与产出的过程,连同对这些结果的评分,都放在同一条流程中处理。用同一个任务跑一遍,工具调用与产出、分数与依据会一起留存,因此不仅可以横向比较各个代理,也可以横向比较同一代理内部的各套插件配置。运行方式不同也要经过共享层,这一结构提高了可比性。它在工作台中选择代理、插件和任务,并管理执行。该仓库的 GitHub 星标数为 47。

局限在 README 中原样写着。小样本估计和执行追踪图被列为下一版本的规划,在公开版本中尚未启用。许可证也未明确说明。研究记录中的分数为新鲜度 7.0、技术 5.0、完备度 6.0、动量 2.1,只有动量偏低。通过共享适配器以及追踪与评估层来提高可比性的设计思路是明确的,但公开版中缺失的功能也收窄了实现范围。下一次发布时需要确认样本估计和追踪图是否真正可用。