github.devotd.
新发现推理与服务

al-jshen/flashmap — 一次提出整块 token 的推测解码 drafter

al-jshen/flashmap 是一个从噪声中一次生成整块 token、同时捕捉块内依赖关系的无损推测解码 drafter。

仓库信息al-jshen/flashmap ↗

al-jshen/flashmap 是一个从噪声中一次生成整块 token、同时捕捉块内依赖关系的无损推测解码 drafter。

GitHub 项目说明: Flow Map Speculative Decoding

星标
★ 20
复刻
2
语言
Python
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

al-jshen/flashmap 是用于推测解码(speculative decoding)的 drafter(草稿器)。推测解码是指先由小模型提出下一个 token,再由大模型验证这些提议,从而一次性确定多个 token 的方式。FlashMap 以无损运行的 drafter 身份承担这一环节。它用 Python 编写,采用 MIT 许可证。目前没有公开的发布版本;这个创建于 2026 年 10 月 13 日的仓库同时公开了论文、Hugging Face 权重以及 SGLang 与 vLLM 的集成。GitHub 星标数为 19。

差异取决于 token 是否逐个预测。扩散(diffusion)方式的 drafter 不使用前面的结果,而是彼此独立地逐个预测 token,因此会丢掉 token 之间的依赖关系。FlashMap 采用流映射(flow map)方式,即从噪声中一次生成整个块,同时也捕捉块内的依赖关系。README 中还给出了面向 Transformers 的实现、用于转换训练好的检查点的工具,以及面向 Qwen 模型的 drafter 和相应的训练流程说明。

不过,性能方面的依据仍停留在 README 的主张。README 表示最高可达 6 倍加速,但该数字无法独立验证,仓库中也看不到专门的测试目录。评分为满分 10 分:新颖性 9 分、技术 6 分、质量 6 分、势能 2.2 分。结合 19 个星标和偏低的势能来看,这仍是一个尚未经过验证的早期方案。目前的阶段更接近于直接检查 SGLang 或 vLLM 的集成是否可用,而不是采信 README 上的数字。