github.devotd.
新着推論・サービング

al-jshen/flashmap — トークンブロック全体を提案する推測デコーディングの drafter

al-jshen/flashmap は、ノイズからトークンブロック全体を一度に生成し、ブロック内の依存関係も捉える无损な推測デコーディング用 drafter です。

リポジトリ情報al-jshen/flashmap ↗

al-jshen/flashmap は、ノイズからトークンブロック全体を一度に生成し、ブロック内の依存関係も捉える无损な推測デコーディング用 drafter です。

GitHub の説明: Flow Map Speculative Decoding

スター
★ 20
フォーク
2
言語
Python
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

al-jshen/flashmap は推測デコーディング(speculative decoding)に使う drafter である。推測デコーディングとは、小さなモデルが次のトークンを先に提案し、大きなモデルがその提案を検証して複数のトークンを一度に確定する方式である。FlashMap は손失なく動作する drafter としてこの役割を担っている。Python で書かれており、ライセンスは MIT である。公開リリースはまだなく、2026 年 10 月 13 日に作成されたリポジトリで、論文と Hugging Face の重み、SGLang と vLLM への統合がまとめて公開された。GitHub のスター数は 19 である。

違いは、トークンを一つずつ予測するかどうかにある。拡散(diffusion)方式の drafter は先行の結果を使わずにトークンを独立に一つずつ予測するため、トークン間の依存関係を見落とす。FlashMap はフローマップ(flow map)方式、すなわちノイズからブロック全体を一度に生成する方法を用い、ブロック内の依存関係も同時に捉える。Transformers 向けの実装、学習済みチェックポイントを変換するツール、Qwen モデル向けの drafter と学習手順の説明も README に含まれている。

ただし、性能的な根拠は README の主張にとどまる。README は最大 6 倍の速度を出すと明言しているが、その数値を独立に検証することはできず、リポジトリにも専用テストディレクトリは確認できない。スコアは 10 点満点で、新鮮さ 9、技術 6、品質 6、モメンタム 2.2 である。スター数 19 と低いモメンタムを合わせると、検証されていない初期提案という位置づけになる。現時点では、README の数値を信じるより、SGLang や vLLM の統合を直接確かめる段階に近い。