assemblyai/voice-standard-bench は、音声AIモデルを4つの用途(dictation、information extraction、summarization、text correction)に分け、品質・コスト・レイテンシをまとめて記録するAssemblyAIのオープンソースベンチマークフレームワークだ。2026年10月29日のマージコミット 2ae44dc(PR #8、「Beam 1.0 and gpt 6.1 terra results」)は results/canonical/0-1-3/ 配下の結果ファイル4つ(summary.csv、summary.json、use_cases.html、use_cases.json)だけを変更し、Beam 1.0とgpt-6.1-terraの結果行を追加した。変更規模は1676行で、1451行の追加と225行の削除である。
表は30s・120s・900s・3600sの4つのバケットに分かれ、各行には quality_score、total_cost_usd、cost_per_quality、tokens_per_second、ttftが一緒に入っている。追加されたBeam 1.0は30sバケットで quality_score 94、total_cost_usd 0.040385、cost_per_quality 0.0008593を、gpt-6.1-terraは 95、0.046959、0.0009886を記録した。同じ表の既存行と並べると、gpt-6.1-solは30sで 96と0.077908、cost_per_quality 0.001623、claude-haiku-4-5-20251001は 90と0.036948だった。新規2モデルの30s品質スコアはsolより低くhaikuより高く、cost_per_qualityはsolより低くなった。
品質スコアは用途ごとに個別に採点される。Beam 1.0の30s行は dictation 99、summarization 96、information extraction 91、text correction 89に分かれる。同じコミットでqwen3-32Bの900s行は quality_scoreが61から62へ、cost_per_qualityが0.001826から0.001797へ調整された。
ただし quality_scoreは表のjudge列が指し示すclaude-opus-5-5による採点値であり、独立した測定ではない。バケットが長くなるほどレイテンシとコストが一緒に増え、3600sバケットでは beam-1.0のerror_countが1、gpt-6.1-terraが2となって latency_nがそれぞれ29と28に減った。このコミットにはライセンスや採点手順の変更はなく、変更対象は結果ファイルに限られている。出典はGitHubのAssemblyAI/voice-standard-benchコミット 2ae44dcだ。したがって、この表は応答時間予算が与えられた条件のもとで品質・コスト・レイテンシをどうトレードオフするかを比較するための参考資料として読むのが妥当であり、どのモデルが優れていると結論づける段階ではない。