github.devotd.
リリース推論・サービング

sgl-project/sglang v0.5.22 — モデルサポートとサービングの変更

sgl-project/sglang v0.5.22 は、新規モデルサポート、モデルロードの変更、プリフィルとデコードの分離配置、疎注意の適用範囲の拡大をまとめたリリースです。

リポジトリ情報sgl-project/sglang ↗

SGLang is a high-performance serving framework for large language models and multimodal models.

スター
★ 37.3K
フォーク
9.7K
言語
Python
ライセンス
Apache-2.0
最新リリース
v0.5.22
原文を見る ↗GitHub で見る ↗

sgl-project/sglang は大規模言語モデルとマルチモーダルモデル向けのサービングフレームワークです。GitHub のリリースページによると、v0.5.22 は 2026-10-19 に公開されました。今回のバージョンは、新規モデルサポートとモデルロードの変更、プリフィルとデコードの分離配置、疎注意の適用範囲の拡大を扱います。新規モデルサポートとサービング手順の変更が一緒に含まれたアップデートです。具体的にどのモデルが追加されたか、モデルロードのどの部分が変わったかは、提示されたリリース要約には記載されていません。

今回の変更の重点はモデルサポートの範囲だけでなく、サービング構成にもあります。プリフィルとデコードの分離配置と、疎注意の適用範囲の拡大がリリース要約に併せて提示されています。要約はこれを新規モデルサポートおよびモデルロードと並べて扱っていますが、各変更の詳細な実装や適用条件までは説明していません。したがって今回のリリースで確認できるのは変更の方向と項目であり、具体的な動作の範囲をリリース情報だけで断定するのは困難です。

リリース説明にはスループットと速度改善に関する測定結果が含まれていますが、これは配布側が提示した結果です。今回の解析ではそのパフォーマンスを独立に検証していません。したがって性能改善は、検証済みの結果としてではなく、リリース説明に記載された主張として区別する必要があります。提示された情報だけではどの環境でどれだけ変わるか判断できないため、性能改善の幅は確認されていない状態です。