thc1006/qwen3.8-speculative-decoding-rtx3090 — RTX 3090 推测解码实验

thc1006/qwen3.8-speculative-decoding-rtx3090 是一个在单张 RTX 3090 上比较 Qwen3.8-27B 推测解码的预注册实验仓库。该仓库涵盖基于 llama.cpp 的实验，并记录了在内置草稿方案 draft-mtp 设置为 --spec-draft-n-max 2 时，服务器报告的解码吞吐量在 25 个输入上高出 59.8%。名义 95% 区间为 [+57.0, +62.8]。该研究以 DOI 形式存档，并公开了方法、分析与复现脚本以及验证流程。

推测解码是一种生成方式，由草稿提出下一个 token，再由主模型进行确认。该仓库也记录了 draft-dflash（PR #27342）的结果，说明吞吐量高出 51.9%，但结果未能与 draft-mtp 区分开来。解码能耗据报告下降了 37.1%，但测量值未经外部仪表校准。因此，速度和能耗数字是该实验的服务器报告结果，并不保证在一般环境中的性能。

输入是按目的构建的 25 个提示词，并不代表真实请求的全部情况。在 1600 token 限制下，25 个输入中有 23~25 个的输出与默认的顺序贪心解码（serial greedy）不同。这一结果表明，不能仅凭速度提升来判断输出等价性。预注册与复现材料有助于评审，但性能主张应在输入有限、能耗测量未校准的范围内加以解读。