ranganborah/specdecode は、小さな draft モデルが提案したトークンを大きな target モデルが一度のバッチ演算でまとめて検証し、推論コストを下げる投機的デコード（speculative decoding）をノートブック GPU で実際に動かせるプロジェクトである。最新コミット 8d8626a（2026-10-13）は README.md 87 行を新規追加し、動作原理、機能一覧、実測値、クイックスタート方法を初めて文書化した。コミットの原文は https://github.com/RanganBorah/SpecDecode/commit/8d8626ab1ddb2e22303b34e1a5cac0472cd9faa5 にある。
方式の骨組みは Leviathan と Chen の 2023 年の論文 2 篇に従っており、README は出力確率分布が target モデルだけを使う場合と同じだと説明している。推論は llama.cpp の --model-draft 経路でローカル実行され、画面ではトークンが提案・検証・受理・拒否・修正へと移るリアルタイムの可視化とともに、受理率、秒間トークン数、target 呼び出し回数、レイテンシが表示される。自作した draft モデル CustomModel 5.1 は Llama-3.2-1B-Instruct を QLoRA で 2 回 미세調整したもので、.gguf ファイルを models/ フォルダに入れておけばコード変更なしで一覧から選択できる。VIT Vellore の GDG on Campus 48 時間ハッカソン DevJams'26 の作品であり、スタックは React 19、TypeScript、Node/Express と SSE ストリーミング、学習側は PyTorch・PEFT・TRL である。
ただし README 自身が示している数値は、この手法がその環境ではまだメリットを出していないという方向である。RTX 3050 Ti ノートブック（4GB VRAM）で target を Llama-3.2-3B-Instruct、draft を Llama-3.2-1B-Instruct とし、どちらも Q4_K_M で動かしたところ、target モデルの順方向計算回数は 99 回から 27 回へ減り、受理率は 75.8% だったが、ウォルクロック速度は秒間 48 トークンから 22.7 トークン（0.47 倍）へ遅くなった。3B 級の target はもともと速く、4GB GPU で 2 つのモデルを同時に動かすオーバーヘッドのほうが高いためだという説明が添えられている。README は、この手法は target がボトルネックになるデータセンターの GPU における大型モデルで価値を出すと記しており、リポジトリにはライセンスやスターの情報は記載されていない。同じ条件は npm run benchmarks で自分で再現でき、実行には Node 20 以上、NVIDIA GPU、CUDA ビルドの llama.cpp が必要である。