Devotd Github
新着評価

syuan03/benchboard — Grok Voice 3.0 と Gemini 3.8 Live のスコアを追加

syuan03/benchboard は 2026 年 10 月 24 日付のコミットで、Grok Voice 3.0 と Gemini 3.8 Live 系の音声ベンチマーク結果を出典とともに追加した。

リポジトリ情報syuan03/benchboard ↗

syuan03/benchboard は 2026 年 10 月 24 日付のコミットで、Grok Voice 3.0 と Gemini 3.8 Live 系の音声ベンチマーク結果を出典とともに追加した。

GitHub の説明: Source-linked collection of published AI model benchmark scores.

スター
★ 55
フォーク
0
言語
JavaScript
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

syuan03/benchboard は、公開された AI モデルのベンチマークスコアを出典リンクとともに集めているリポジトリである。2026 年 10 月 24 日のコミット be56c57 において、Grok Voice 3.0、Gemini 3.8 Live、Gemini 3.8 Live Extended Thinking の音声ベンチマーク結果を新たに収録した。変更は README の統計記述と統計用 SVG、データパックファイル 2 件、監査ドキュメント 2 件、index.html、データローダーを合わせて合計 208 行(追加 199 行、削除 9 行)である。

このリポジトリの趣旨は、スコアそのものではなく、スコアに付随する文脈にある。README は、すべてのスコアにモデルリリース、ベンチマークのバリアント、評価設定、原文の出典を付記すると説明し、異なるハーネスやバージョンの結果は分けて管理すると明記している。クロスベンチマークの合成スコアは作成しない、という説明もそのまま残っている。今回の Grok の項目は、xAI の Grok Voice 3.0 リリースと Artificial Analysis の speech-to-speech リーダーボードから得られた 10 件の結果を個別に収録し、音質、推論、エージェント型タスク、会話の動態、選好、EVA-Bench の精度、レイテンシ、入力音声コストをそれぞれ別の指標として管理している。10 月 13 日リリースの Elo と 10 月 24 日ライブの Elo も個別の項目として置き、Gemini 側は Google の発表と DeepMind の評価チャートによる 8 件の結果を、音質、エージェント音声性能、Sierra バンキング、Big Bench Audio、測定された入力音声コストに分け、モデル ID とモダリティ上の制約はモデルカードに従う。

ただしコミットメッセージの verified は、リポジトリが出典を付けて管理しているという意味であって、スコアを自ら再現したという意味ではない。データパックに残された根拠ドキュメントの日付は 2026 年 9 月 15 日と 2026 年 9 月であり、コミット日より前のものである。リポジトリの統計は、モデルとバージョンが 200 から 203、ベンチマーク系が 582 から 585、公開結果が 9,565 件から 9,584 件、一次出典が 313 件から 319 件、編集済みリリースが 137 件から 140 件に増加した。音声モデルの比較がデータ軸に加わったという信号と捉えられるが、指標ごとに評価条件が異なるため、このリポジトリだけでどちらが優位かを判断するには早い。