Devotd Github
新发现评测

assemblyai/voice-standard-bench — Beam 1.0 与 gpt-6.1-terra 结果

语音 AI 基准测试仓库 assemblyai/voice-standard-bench 新增了 Beam 1.0 与 gpt-6.1-terra 的质量、成本、延迟测量结果。

仓库信息assemblyai/voice-standard-bench ↗

语音 AI 基准测试仓库 assemblyai/voice-standard-bench 新增了 Beam 1.0 与 gpt-6.1-terra 的质量、成本、延迟测量结果。

GitHub 项目说明: AssemblyAIs Open Source Benchmarking Framework

星标
★ 6
复刻
0
语言
Go
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

assemblyai/voice-standard-bench 是 AssemblyAI 的开源基准测试框架,将语音 AI 模型按四种用途(dictation、information extraction、summarization、text correction)分类,并同时记录质量、成本与延迟。2026 年 10 月 29 日的合并提交 2ae44dc(PR #8,「Beam 1.0 and gpt 6.1 terra results」)只修改了 results/canonical/0-1-3/ 下的四个结果文件 summary.csv、summary.json、use_cases.html、use_cases.json,新增了 Beam 1.0 与 gpt-6.1-terra 的结果行。变更规模为 1676 行,其中新增 1451 行、删除 225 行。

该表分为 30s、120s、900s、3600s 四个桶(bucket),每行同时包含 quality_score、total_cost_usd、cost_per_quality、tokens_per_second、ttft。新增的 Beam 1.0 在 30s 桶中记录了 quality_score 94、total_cost_usd 0.040385、cost_per_quality 0.0008593,gpt-6.1-terra 则记录了 95、0.046959、0.0009886。与同一表中已有行并列来看,gpt-6.1-sol 在 30s 上为 96 和 0.077908、cost_per_quality 0.001623,claude-haiku-4-5-20251001 则为 90 和 0.036948。两个新模型的 30s 质量分数低于 sol、高于 haiku,而 cost_per_quality 低于 sol。

质量分数按用途分别评分。Beam 1.0 的 30s 行拆分为 dictation 99、summarization 96、information extraction 91、text correction 89。在同一提交中,qwen3-32B 的 900s 行被从 quality_score 61 调整为 62,cost_per_quality 从 0.001826 调整为 0.001797。

不过 quality_score 是由表中 judge 列所指向的 claude-opus-5-5 打出的分数,因此并非独立测量。桶越长,延迟与成本一同上升,在 3600s 桶中 beam-1.0 的 error_count 为 1、gpt-6.1-terra 为 2,latency_n 分别降为 29 和 28。本次提交没有包含许可证或评分流程的变更,变更范围仅限于结果文件。来源是 GitHub 的 AssemblyAI/voice-standard-bench 提交 2ae44dc。因此,这张表更适合作为参考资料,用来比较在响应时间预算固定的条件下如何权衡质量、成本与延迟,还不到断定哪个模型更优的阶段。