Devotd Github
新发现评测

zju-real/ageval 7a8c975 — 新增评估执行前的环境检查技能

zju-real/ageval 中以文档形式新增了 eval-ops-pitfalls 技能,涵盖死代理、调用超时、包镜像、模型路由等评估执行前的环境检查流程。

仓库信息zju-real/ageval ↗

zju-real/ageval 中以文档形式新增了 eval-ops-pitfalls 技能,涵盖死代理、调用超时、包镜像、模型路由等评估执行前的环境检查流程。

GitHub 项目说明: Agent eval on one running base. Swap the agent under test with plugins; run the same dataset anywhere.

星标
★ 72
复刻
2
语言
Python
许可证
MIT
最新版本
v0.9.0
查看原始来源 ↗在 GitHub 查看 ↗

2026 年 10 月 28 日,提交 7a8c975 进入 zju-real/ageval 仓库。这是一个只改文档的提交,针对的是一个把待测智能体换成插件、从而可以在任何地方运行同一数据集的评估工具。提交新增 81 行、删除 0 行,涉及四个文件。

核心是新出现的 skills/eval-ops-pitfalls/SKILL.md。其中包含运行前要看的六项内容以及评估器配置的检查流程:因本地 HTTP_PROXY 失效而导致的环境镜像解析失败、AGEVAL_AGENT_INVOKE_TIMEOUT 与 acp_timeout 之间的关系、使用 AGEVAL_APT_MIRROR 的软件包镜像的可访问性、取决于模型 ID 与提供方前缀的路由错误、被 PEP668(externally-managed-environment) 阻止的 Python 包安装,以及评估器依赖与文件权限问题。文档按症状整理成表,说明每种症状应先检查什么。该技能在 skills/ageval-platform/SKILL.md 的路由表中以 'Pre-run environment checks and suite troubleshooting' 条目接入;CLI 侧的 skills/ageval-cli/references/failures.md 表中则新增 5 行,使 environment_image_unresolved、acp_timeout、API 400、PEP668 以及几乎全部 FAIL 的情况分别指向 $eval-ops-pitfalls。Docker 插件的 README 也改动了 1 行。

方向很明确:把「必须先排除环境准备失败,才能解读结果」这一判断以文档形式留下,而不是关注模型性能。文档也明确了顺序:几乎所有任务失败或补丁为空时,先通过代表性结果找出共同原因,修复后用代表性运行进行验证,然后才运行新的测试套件。不过本次改动全部是 81 行文档。该技能提到的环境变量的默认值与支持范围、各错误码的复现结果都不在这个提交里。究竟在哪些环境下仅靠这些检查就足够,要等 README 与发布记录积累更多之后才能判断。