Devotd Github
新发现大语言模型基础设施

hao-ai-lab/jetspec — README 重构与新增 AGENTS.md

hao-ai-lab/jetspec 的最新提交未改动代码,而是按章节重新编排 README,并在方法与引擎目录中新增了 AGENTS.md,属于一次文档整理。

仓库信息hao-ai-lab/jetspec ↗

hao-ai-lab/jetspec 的最新提交未改动代码,而是按章节重新编排 README,并在方法与引擎目录中新增了 AGENTS.md,属于一次文档整理。

GitHub 项目说明: JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Causal Parallel Tree Drafting

星标
★ 238
复刻
12
语言
Python
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

hao-ai-lab/jetspec 是一个 LLM 推理项目,它将 speculative decoding(先生成草稿 token,再通过验证予以确认,从而一次性推进的技术)扩展到树形草稿。最新提交(673267e)于 2026 年 10 月 30 日合并,对应 PR #33,改动仅涉及文档而非代码。它按章节重新编排了 README,并在方法与引擎目录中新增了 AGENTS.md。改动共涉及 8 个 markdown 文件,新增 207 行、删除 219 行。

README 被重新编排为:顶部链接(论文 arXiv 2610.19792、项目网页、Hugging Face 模型)、概述、支持模型、快速开始、评估和代码。原本折叠隐藏的 JetSpec 与 JetSpec++ 说明被展开,代码部分则分别链接到作为 torch 参考实现的方法实现,以及在 2 个 GPU 上运行的推理引擎各自的 README。评估部分不再重复论文的 Table 3,而是指向 bench/jetspec_plus_plus/reproduce_paper_results.md 指南。该指南说明了主机文件、协议以及其他基线。

快速开始部分新增了一句写明数值适用条件的表述。输出吞吐量是在新引擎上处理单个短提示词所得的数值,因此文中提示若要查看固定基准,请使用 bench 中的 speedup.py。README 说明:在 2 台 GB200 上,相比自回归解码最高可达 7.45 倍,相比 DSpark 达 1.54 倍,最高 1,361 token/秒;7 个基准测试上的接受长度在温度 0 时平均每轮 8.94 token(DSpark 为 6.89)。

不过,这次提交全部是文档整理。性能数值是从论文 Table 3 搬过来的,并非此次变更重新测量的结果,解码行为也没有改变。入口与目录说明变得更易读了,但对速度主张的独立验证依然缺失,而且需要 README 所假定的 GB200、B200 硬件。与其说是值得重新尝试的新东西,不如说是一次值得跟随的整理。