Devotd Github
发布评测

ukgovernmentbeis/inspect_ai 0.3.282 — 分离并行代理的工具状态

大语言模型评估框架 Inspect AI 0.3.282 包含一项变更,为在同一采样上并行运行的每个代理分离工具状态。

仓库信息ukgovernmentbeis/inspect_ai ↗

大语言模型评估框架 Inspect AI 0.3.282 包含一项变更,为在同一采样上并行运行的每个代理分离工具状态。

GitHub 项目说明: Inspect: A framework for large language model evaluations

星标
★ 3.1K
复刻
841
语言
Python
许可证
MIT
最新版本
0.3.282
查看原始来源 ↗在 GitHub 查看 ↗

Inspect AI(ukgovernmentbeis/inspect_ai)是一个用于评估大语言模型的框架。根据 GitHub 上 0.3.282 标签发布的发布说明,该版本于 2026 年 10 月 19 日(UTC)发布,其中包含一项变更:为在同一采样上并行运行的每个代理分离工具(tool)状态。

评估是给模型指定任务,并把结果与标准比较以衡量质量的过程。评估框架是一种工具,用代码定义任务和评分标准,反复运行模型并比较结果。Inspect AI 是公开发布在 GitHub 上的仓库,显示的星标数为 3057。本次变更针对的是把多个代理并行挂到同一个采样上的评估方式。按代理划分工具状态后,一个代理的工具使用记录不会与其他代理混在一起。同一次发布还包含用于分片执行(sharded execution,把工作拆成多个块来处理)的条件保存与锁定辅助功能,以及与已取消评估和工具调用、用量(usage)统计相关的修复。

不过,这次发布说明中没有性能数据,也没有评分结果对比。工具状态的分离是否会改变既有评估结果,分片执行的条件保存与锁定辅助功能在什么条件下生效,都没有说明。这项变更直接关系到并行的多代理评估,但对单代理评估结果的影响,仅凭这次发布说明无法判断。