Devotd Github
新着LLMインフラ

datawhalechina/zero-to-sglang — 第2部第6章 連続バッチとスケジューラが完成

zero-to-sglang コースの第2部第6章「連続バッチとスケジューラ」の概念ドキュメントと図解が中国語・英語で完成した。

リポジトリ情報datawhalechina/zero-to-sglang ↗

zero-to-sglang コースの第2部第6章「連続バッチとスケジューラ」の概念ドキュメントと図解が中国語・英語で完成した。

GitHub の説明: Official SGLang x Datawhale course on LLM inference: understand inference, build a mini-sglang from scratch, then read the real SGLang source and land your first PR. Available in English and Chinese.

スター
★ 1.5K
フォーク
114
言語
Python
原文を見る ↗GitHub で見る ↗

datawhalechina/zero-to-sglang は SGLang と Datawhale が手掛ける公式の LLM 推論コースである。推論の構造を学び、mini-sglang をゼロから実装したうえで、実際の SGLang のソースコードを読んで最初の PR を出すところまで、段階的に案内する。最新のコミット 71d7351(2026-10-26)は PR #102 をマージし、第2部第6章「連続バッチとスケジューラ」の概念説明を中国語と英語で完成させた。2 言語の章ファイルはそれぞれ 255 行追加・1 行削除で変更され、コミット全体では 512 行追加・4 行削除である。

本章の主題は連続バッチ(continuous batching)とスケジューラ(scheduler)である。固定バッチはメンバーを事前に決めて最後まで一緒に実行するため、短時間のリクエストが終了しても長いリクエストが残っている場合、新しいリクエストは待ち続ける。ドキュメントは、実行のラウンドごとに計算に参加するリクエストを選び直す方式と、それを管理するスケジューラの状態を説明する。待機キュー、decode 実行集合、今回のラウンドの batch がその状態であり、リクエストスロット・prefill トークン予算・KV 容量が新しいリクエストの受付を決める。prefill を先に回す優先順位、prefill を複数のチャンクに分割すること(chunked prefill)、終了したリクエストのリソース回収についても扱う。

README と README_zh の第6章の項目はステータスが「概念 🚧 / コード 📝」から ✅ に変わり、説明も「連続バッチ、スケジューラの状態、リソース制限、レイテンシとスループットのトレードオフ」に整理された。各言語に図解が 5 枚ずつ追加された。その一覧は、固定バッチで生じる待ち、連続バッチのスケジューリングタイムライン、スケジューリングループとリクエストの状態遷移、受付条件の確認と KV 容量の見積もり、分割 prefill である。

ただし、この章は実測に基づくものではない。本文は、A・B・C の 3 件のリクエストによるスケジューリング表が同長の時間スロットではない旨、また性能測定でもない旨を自ら明かしている。比較数値やベンチマークは提示されない。コミットが変更したファイルは概念の章、図解、README 2 つのみで、第6章の「コード walkthrough」ドキュメントは今回の変更には含まれていない。ドキュメントは実装を含む PR #88 と mini-sglang のコミット 9a91cfa を指している。教材は英語と中国語のみで提供され、リポジトリのライセンスとスター数は与えられた情報にはない。