datawhalechina/zero-to-sglang 是由 SGLang 与 Datawhale 出品的官方 LLM 推理教程。它分阶段引导读者掌握推理的结构、从零实现 mini-sglang,然后阅读真实的 SGLang 源码并提交第一个 PR。最新提交 71d7351(2026-10-26)合并了 PR #102,完成了第 2 部分第 6 章「连续批处理与调度器」概念说明的中文与英文版本。两种语言的章节文件分别变更为新增 255 行、删除 1 行,整个提交为新增 512 行、删除 4 行。
本章的主题是连续批处理(continuous batching)与调度器(scheduler)。静态批处理预先确定成员并一直一起执行,因此当较短的请求结束后仍有较长的请求未完成时,新请求会继续等待。文档说明了在每个执行轮次重新挑选参与计算的请求的方式,以及管理这一切的调度器的状态。等待队列、decode 执行集合、本轮的 batch 就是该状态,而请求槽位、prefill token 预算和 KV 容量决定是否接纳新请求。本章还讨论了优先运行 prefill、把 prefill 拆分为多个分块(chunked prefill),以及回收已结束请求所占用的资源。
README 和 README_zh 中的第 6 章条目状态从「概念 🚧 / 代码 📝」变为 ✅,描述也整理为「连续批处理、调度器状态、资源限制,以及延迟与吞吐量的权衡」。每种语言都新增了 5 张图解,依次是:静态批处理下产生的排队、连续批处理的调度时间线、调度循环与请求状态流转、接纳条件的检查与 KV 容量估算、分块 prefill。
不过本章并非基于实测。正文自己说明,使用 A、B、C 三个请求列出的调度表格中时间槽长度并不相同,也不是性能测量结果。文中没有给出对比数值与基准测试。提交改动的文件只有概念章节、图解和两个 README,因此第 6 章的「代码 walkthrough」文档不在本次改动范围内。文档指向包含实现的 PR #88 以及 mini-sglang 提交 9a91cfa。教学材料仅提供英文和中文版本,所给信息中没有仓库许可证和 star 数。