sierra-research/tau2-bench가 최신 릴리스 v2.0.0을 공개했다. τ-bench는 실제 도메인에서 에이전트와 사용자의 대화와 도구 사용을 함께 평가하는 벤치마크다. v2.0.0은 tau3 도메인, 음성 평가, 정책 준수 작업을 시뮬레이터와 평가기로 제공한다.
평가는 두 갈래로 나뉜다. 텍스트 기반 반이중 방식은 한쪽이 끝낸 뒤 다음 턴이 이어지는 턴별 대화와 도구 사용을 보고, 음성 전이중 방식은 양쪽이 동시에 말할 수 있는 실시간 오디오 API를 통해 대화 전체를 평가한다. README는 이 프로젝트를 실제 도메인에서 고객 서비스 에이전트를 평가하는 시뮬레이션 프레임워크로 설명한다. 각 도메인에는 정책(policy), 에이전트가 사용할 도구, 평가 과제, 선택적 사용자 도구가 함께 정의되어, 도메인 규칙을 지키면서 도구를 고르는 능력을 본다. 제공되는 도메인은 mock, airline, retail, telecom, banking_knowledge다. 구현 언어는 Python이고 라이선스는 MIT이며, GitHub 스타 수는 2270개다.
다만 자료가 닿는 범위는 기능 설명과 저장소 지표까지다. 에이전트별 평가 결과나 성능 수치는 제시되지 않았고, 수치로 제시된 것은 저장소 모멘텀 점수 3.9뿐이다. 음성 평가는 실시간 오디오 API를 전제로 하고, 제공된 도메인도 고객 서비스 영역이 대상이다. 고객지원 에이전트를 비교할 기준틀로는 참고할 만하지만, 어떤 모델이 어느 수준인지는 이 자료만으로 판단하기 이르다.