ai-safety-institute/transect 是构建在 inspect-scout 之上的、面向 agent 评估的转录分析工具。要求 Python 3.12 及以上版本。2026 年 11 月 5 日的提交 2655747 添加了一个运行索引,用于汇总展示单个样本跨多个 epoch(扫描轮次)处理的结果。pyproject.toml 中的版本从 0.6.1 提升到 0.7.0,diff 规模为新增 854 行、删除 57 行。
现在 render() 会为每个 epoch 生成 report_epoch2.html 之类的报告文件,并在其中额外写入一个 report_index.html。该索引位于 report_paths 的第一位,默认打开。其中包含每个 epoch 的报告及其运行状态、跨多个 epoch 合并计算的判断表层可靠性,以及整次运行的扫描状态。
合并可靠性由新添加的 src/transect/report/collection.py 计算,并由 index.html.j2、runs.html.j2、collection_reliability.html.j2 模板渲染。该表格按记录的 judge 配置和标签词表分行,同时展示有效投票数、配置所期望的样本数、帧的 judge_agreement 均值、两两一致度、基于原始投票计算的 α 和 AC1、验证者的重新标注数,以及随机抽样复核中被推翻的数量。该索引位于 section_order 之外,因此不读取转录,也不需要图表运行时。若只有一个 epoch,则不会生成索引。
不过,这些数值是多个 epoch 的 judge 审核合并而成的,文档也明确说明它们衡量的是一致性而非准确性。由于表格各行按 judge 配置和标签词表划分,比较时应在同一配置内进行。它们更适用于观察同一配置下重复运行的倾向,而不是单次运行的结果。