sierra-research/tau2-bench が v2.0.0 を公開した。τ-bench は実際のドメインでツールとエージェント、ユーザーが互いにどう相互作用するかを扱うベンチマークだ。今回のバージョンで新しく加わったのは、6 言語のテキスト評価と音声評価、そして固定ベンチマーク構成である。公開日は 2026 年 10 月 20 日で、詳しい内容は GitHub の v2.0.0 リリースタグページにまとめられている。
このベンチマークが測る対象は、ツールを使うエージェントとユーザーが同じドメインの中でやり取りする相互作用だ。テキスト評価と音声評価を 6 言語にわたってまとめて収録し、評価条件と手順をひとつに決めた固定ベンチマーク構成も入った。固定構成は、同じ条件で評価の 틀を使い回せるようにまとめておいた形である。評価言語が増え、固定構成ができたことが今回のバージョンの主要な内容だ。リポジトリのスター数は 2275 個である。
ただしリリース案内には、2.0 のスコアは 1.x と直接比較できないと明記されている。2.0 には 6 言語のテキスト・音声評価と固定構成が入り、スコアの基準も 1.x と同じではない。以前の基準と比較したい場合は v1.0.1 を使うよう案内されている。この 2 つの数値を 1 行に並べて見ることはできない。公開されているリリース情報には、言語別のスコアもモデル別の性能数値も、両方の基準をつなぐ資料もない。比較の基準線は v1.0.1 に残し、2.0 の結果は別に見ておくのが安全である。