ranganborah/specdecode 是一个实际在笔记本 GPU 上运行推测性解码（speculative decoding）的项目：由小型 draft 模型提出 token，再由大型 target 模型在一次批处理运算中一并验证，从而降低推理成本。最新提交 8d8626a（2026-10-13）新添加了 87 行的 README.md，首次对动作原理、功能列表、实测数值和快速开始方法进行了文档化。提交原文见 https://github.com/RanganBorah/SpecDecode/commit/8d8626ab1ddb2e22303b34e1a5cac0472cd9faa5。
该方式的骨架遵循 Leviathan 与 Chen 的 2023 年两篇论文，README 解释说输出概率分布与只使用 target 模型时相同。推理通过 llama.cpp 的 --model-draft 路径在本地运行，屏幕上会实时可视化 token 在“提议·验证·接受·拒绝·修正”之间的流转，并显示接受率、每秒 token 数、target 调用次数和延迟。自建的 draft 模型 CustomModel 5.1 是用 QLoRA 对 Llama-3.2-1B-Instruct 进行了两次微调；把 .gguf 文件放入 models/ 文件夹即可在列表中选取，无需修改代码。这是 VIT Vellore 的 GDG on Campus 48 小时黑客松 DevJams'26 的作品，技术栈为 React 19、TypeScript、Node/Express 与 SSE 流式传输，训练方面使用 PyTorch、PEFT、TRL。
不过，README 自述的数值表明该技术在该环境中尚无收益。在 RTX 3050 Ti 笔记本（4GB VRAM）上，target 使用 Llama-3.2-3B-Instruct、draft 使用 Llama-3.2-1B-Instruct，两者均以 Q4_K_M 运行：target 模型的前向计算次数从 99 次减少到 27 次，接受率为 75.8%，但墙钟速度从每秒 48 token 降至 22.7 token（0.47 倍）。随附的解释是，3B 级 target 本来就很快，而在 4GB GPU 上同时加载两个模型的开销更大。README 中写明该技术在 target 成为瓶颈的数据中心 GPU 上的大型模型中才能体现价值，仓库中没有记录许可证和星标信息。相同条件可通过 npm run benchmarks 自行复现，运行需要 Node 20 以上、NVIDIA GPU 以及以 CUDA 构建的 llama.cpp。