sierra-research/tau2-bench 发布了最新版本 v2.0.0。τ-bench 是一个在真实域中同时评估智能体与用户对话以及工具使用的基准。v2.0.0 以模拟器和评估器的形式提供 tau3 域、语音评估与策略合规任务。
评估分为两条路线。文本半双工方式按回合评估对话与工具使用，一方说完后下一回合才继续；语音全双工方式则通过允许双方同时说话的实时音频 API 评估整个对话。README 将该项目描述为一个在真实域中评估客服智能体的仿真框架。每个域都定义了策略(policy)、智能体可用的工具、评估任务以及可选的用户工具，用以考察在遵守域规则的同时选择工具的能力。提供的域为 mock、airline、retail、telecom 和 banking_knowledge。实现语言为 Python，许可证为 MIT，GitHub 星标数为 2270。
但这份资料涉及的范围仅止于功能说明与仓库指标。文中没有给出按智能体划分的评估结果或性能数据，唯一以数值呈现的是仓库动量分数 3.9。语音评估以实时音频 API 为前提，所提供的域也面向客服领域。作为比较客户支持智能体的基准可以参考，但仅凭这份资料还难以判断各个模型处于什么水平。