sierra-research/tau2-bench 发布了 v2.0.0。τ-bench 是一个研究真实领域中工具、代理与用户彼此如何交互的基准测试。本次版本新加入的是六种语言的文本评测与语音评测,以及固定的基准配置。发布时间为 2026 年 10 月 20 日,详细信息整理在 GitHub 的 v2.0.0 发布标签页面。
该基准测试考察的对象,是使用工具的代理与用户在同一领域内进行的交互。它将六种语言的文本评测与语音评测一并纳入,并加入了把评测条件与流程统一确定的固定基准配置。固定配置是把评测框架打包成可在相同条件下重复使用的形式。评测语言数量增加、并出现固定配置,是本次版本的主要内容。该仓库的星标数为 2275 个。
不过,发布说明中明确指出,2.0 的分数不能与 1.x 直接比较。2.0 中加入了六种语言的文本与语音评测以及固定配置,评分基准也与 1.x 不同。如需与以往基准比较,官方建议使用 v1.0.1。这两个数值无法放在同一行中并列看待。已公开的发布信息中没有按语言划分的分数,也没有按模型划分的性能数据,更没有连接两套基准之间的资料。把比较基准线保留在 v1.0.1,而将 2.0 的结果单独来看更为稳妥。