assemblyai/voice-standard-bench는 음성 AI 모델을 네 가지 용도(dictation, information extraction, summarization, text correction)로 나누어 품질과 비용, 지연을 함께 기록하는 AssemblyAI의 오픈소스 벤치마크 프레임워크다. 2026년 10월 29일 머지 커밋 2ae44dc(PR #8, "Beam 1.0 and gpt 6.1 terra results")는 results/canonical/0-1-3/ 아래의 summary.csv, summary.json, use_cases.html, use_cases.json 네 결과 파일만 바꿔 Beam 1.0과 gpt-6.1-terra의 결과 행을 추가했다. 변경 규모는 1676줄이며 1451줄 추가, 225줄 삭제다.
표는 30s·120s·900s·3600s 네 개 버킷으로 나뉘고, 각 행에는 quality_score, total_cost_usd, cost_per_quality, tokens_per_second, ttft가 함께 들어 있다. 추가된 Beam 1.0은 30s 버킷에서 quality_score 94, total_cost_usd 0.040385, cost_per_quality 0.0008593을, gpt-6.1-terra는 95, 0.046959, 0.0009886을 기록했다. 같은 표의 기존 행과 나란히 놓으면 gpt-6.1-sol은 30s에서 96과 0.077908, cost_per_quality 0.001623, claude-haiku-4-5-20251001은 90과 0.036948이었다. 새 두 모델의 30s 품질 점수는 sol보다 낮고 haiku보다 높으며, cost_per_quality는 sol보다 낮게 나왔다.
품질 점수는 용도별로 따로 매겨진다. Beam 1.0의 30s 행은 dictation 99, summarization 96, information extraction 91, text correction 89로 나뉜다. 같은 커밋에서 qwen3-32B의 900s 행은 quality_score가 61에서 62로, cost_per_quality가 0.001826에서 0.001797로 조정됐다.
다만 quality_score는 표의 judge 열이 가리키는 claude-opus-5-5가 매긴 값이라 독립 측정이 아니다. 버킷이 길어질수록 지연과 비용이 함께 오르고, 3600s 버킷에서는 beam-1.0의 error_count가 1, gpt-6.1-terra가 2로 잡혀 latency_n이 각각 29와 28로 줄었다. 이 커밋에는 라이선스나 채점 절차 변경이 없고 변경 대상은 결과 파일에 한정된다. 출처는 GitHub의 AssemblyAI/voice-standard-bench 커밋 2ae44dc다. 따라서 이 표는 응답 시간 예산이 정해진 조건에서 품질·비용·지연을 어떻게 교환하는지 비교하는 참고 자료로 읽는 편이 맞고, 어느 모델이 우월하다고 결론 내릴 단계는 아니다.