Devotd Github
新着LLMインフラ

hao-ai-lab/jetspec — README 再構成と AGENTS.md の追加

hao-ai-lab/jetspec の最新コミットは、コード変更を一切行わずに README をセクション単位に再構成し、方法・エンジンの各ディレクトリに AGENTS.md を追加した文書整理である。

リポジトリ情報hao-ai-lab/jetspec ↗

hao-ai-lab/jetspec の最新コミットは、コード変更を一切行わずに README をセクション単位に再構成し、方法・エンジンの各ディレクトリに AGENTS.md を追加した文書整理である。

GitHub の説明: JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Causal Parallel Tree Drafting

スター
★ 238
フォーク
12
言語
Python
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

hao-ai-lab/jetspec は、speculative decoding(まず下書きトークンを作成し、検証によって確定させて一気に進める手法)をツリー状のドラフトへ拡張した LLM 推論プロジェクトである。2026 年 10 月 30 日にマージされた最新コミット(673267e)は PR #33 であり、コードではなく文書のみを扱った。README をセクション単位に再構成し、方法とエンジンの各ディレクトリに AGENTS.md を新規追加した。変更は markdown ファイル 8 個にまたがる 207 行の追加と 219 行の削除である。

README は、上部のリンク(論文 arXiv 2610.19792、プロジェクト Web ページ、Hugging Face モデル)、概要、対応モデル、クイックスタート、評価、コードという構成に組み立て直された。折り畳みブロックに隠していた JetSpec と JetSpec++ の説明は展開され、コード節では、torch のリファレンスである方法実装と、2 GPU 上で動作するサービングエンジンが、それぞれ独自の README へリンクされるようにした。評価節は論文の Table 3 を再掲するのではなく、bench/jetspec_plus_plus/reproduce_paper_results.md のガイドへ誘導する。このガイドはホストファイル、プロトコル、その他のベースラインについて説明している。

クイックスタートには、数値の条件を確認する文が加わった。出力スループットは新しいエンジンで短いプロンプト 1 件を処理したときの値であるため、固定の基準を見るには bench の speedup.py を使うというヒントが付けられている。README は、GB200 2 台において自己回帰デコーディング比で最大 7.45 倍、DSpark 比で 1.54 倍、最大 1,361 トークン/秒であると明かし、7 つのベンチマークにおける受理長は温度 0 でラウンドあたり平均 8.94 トークン(DSpark は 6.89)だと記している。

ただし、今回のコミットは文書整理のみである。性能の数値は論文の Table 3 から移し来た値であり、今回の変更で再測定した結果ではなく、デコーディングの挙動は変わっていない。読みやすい入口とディレクトリの案内はよくなったものの、速度の主張に対する独立した検証はいまだない。また、README が前提とする GB200・B200 ハードウェアが必要である。新しく試すものというより、追従する価値のある整理に近い。