Lsglang は SGLang を拡張し、CPU と GPU を併用する MoE(複数の expert に処理を分割するモデル)のハイブリッド推論サーバである。2026年11月3日のコミット 2eee88c のメッセージは 'Release 1.7.2' であり、変更されたファイルは README.md、RELEASE_NOTES.md、python/pyproject.toml の3つである(137行変更、122行追加、15行削除)。
このバージョンの中心は GPU expert キャッシュ、すなわちよく使われる expert を GPU に常駐させる部分を埋める経路を2つに分けたことである。新しい環境変数 LK_POOL_NO_STAGE のデフォルト値 1 は、各 NUMA フラグメントを pinned ホストページからスロットへ直接 DMA 送信し、ホストコピーをなくす。8ノードのホストでは非同期 DMA コピーが約16回発生する。README は、同じビルドで DeepSeek-V4-Flash-0731/DSPARK の expert アドミッションコストが 1.1 ms から 0.13 ms へ、gather が 1669-2494 us から 0 us へ減少したと記している。0 を指定すると、既存の coalesced staging ring である LK_POOL_STAGE が代わりに動作する。
より目に見える変化は投機的デコード側にある。LK_VERIFY_RESIDENT のデフォルト値が 0 から 1 に変わり、ドラフト行が実トークンが作った expert residency をそのまま乗る。README は DeepSeek-V4-Flash-0731/DSPARK において CPU 専用経路比 +17.6%、受容率は不変と記した。LK_POOL_MBOX_SPLIT は1行で 7.43 ms/step に対し 7.07-7.35 ms/step と、どちらが速いか判別できないためレシピから削除され、LK_POWER_SAVING も待機状態専用であり推論中に電力を下げない旨に訂正された。LK_POOL_LOG、LK_VERIFY_PUMP、LK_POOL_DET_SPLIT、LK_POOL_SPLIT_PROBE はデバッグ専用セクションに分離された。
ただし、これらの数値だけで判断するのは早い。値はすべて README が特定のビルドで測定したものであり、DeepSeek-V4.1-Flash-1017 TP2/3090 では結論が逆になる。この構成では、per-fragment のデフォルト値でデコード中央値が 27.0 tok/s から 21.1 tok/s へ落ち、LK_POOL_NO_STAGE=0 では 26.0 tok/s に戻る。サンプル数も 284 回と 11 回で分かれる。そのため launch/sglang_serve_dsv41_*.sh の3つのレシピは 0 に固定し、他の場所はデフォルト値 1 のままにする。他のモデルやハードウェアにそのまま適用する根拠はない。