Inspect AI(ukgovernmentbeis/inspect_ai)是一个用于评估大语言模型的框架。根据 GitHub 上 0.3.282 标签发布的发布说明,该版本于 2026 年 10 月 19 日(UTC)发布,其中包含一项变更:为在同一采样上并行运行的每个代理分离工具(tool)状态。
评估是给模型指定任务,并把结果与标准比较以衡量质量的过程。评估框架是一种工具,用代码定义任务和评分标准,反复运行模型并比较结果。Inspect AI 是公开发布在 GitHub 上的仓库,显示的星标数为 3057。本次变更针对的是把多个代理并行挂到同一个采样上的评估方式。按代理划分工具状态后,一个代理的工具使用记录不会与其他代理混在一起。同一次发布还包含用于分片执行(sharded execution,把工作拆成多个块来处理)的条件保存与锁定辅助功能,以及与已取消评估和工具调用、用量(usage)统计相关的修复。
不过,这次发布说明中没有性能数据,也没有评分结果对比。工具状态的分离是否会改变既有评估结果,分片执行的条件保存与锁定辅助功能在什么条件下生效,都没有说明。这项变更直接关系到并行的多代理评估,但对单代理评估结果的影响,仅凭这次发布说明无法判断。