sierra-research/tau2-bench は最新リリース v2.0.0 を公開した。τ-bench は実際のドメインで、エージェントとユーザーの会話およびツール利用をまとめて評価するベンチマークである。v2.0.0 は tau3 ドメイン、音声評価、ポリシー準拠タスクをシミュレーターと評価器として提供する。
評価は2つに分かれる。テキストベースの半二重方式は、一方が話し終えてから次のターンが続くターンごとの会話とツール利用を評価し、音声のフルデュプレックス方式は双方が同時に発話できるリアルタイム音声 API を通じて会話全体を評価する。README はこのプロジェクトを、実際のドメインでカスタマーサービスエージェントを評価するシミュレーションフレームワークと説明している。各ドメインにはポリシー(policy)、エージェントが使うツール、評価タスク、選択可能なユーザーツールが定義され、ドメインルールを守りながらツールを選ぶ力を試す。提供されるドメインは mock、airline、retail、telecom、banking_knowledge である。実装言語は Python、ライセンスは MIT、GitHub のスター数は 2270。
ただし、この資料が示せる範囲は機能の説明とリポジトリの指標までである。エージェント別の評価結果や性能の数値は示されておらず、数値として示されるのはリポジトリのモメンタムスコア 3.9 だけである。音声評価はリアルタイム音声 API を前提としており、提供されたドメインもカスタマーサービス領域を対象としている。カスタマーサポートエージェントを比較する基準としては参考になるが、どのモデルがどの水準にあるかはこの資料だけでは判断がつかない。