Devotd Github
新着推論・サービング

sgl-project/sglang v0.5.22 — マルチモーダル推論フレームワーク

SGLang は大規模言語モデルとマルチモーダルモデル向けのオープンソース推論・サービングフレームワークで、提示されたリポジトリ情報における最新リリースは v0.5.22 です。

リポジトリ情報sgl-project/sglang ↗

SGLang は大規模言語モデルとマルチモーダルモデル向けのオープンソース推論・サービングフレームワークで、提示されたリポジトリ情報における最新リリースは v0.5.22 です。

GitHub の説明: SGLang is a high-performance serving framework for large language models and multimodal models.

スター
★ 38.3K
フォーク
10K
言語
Python
ライセンス
Apache-2.0
最新リリース
v0.5.22
原文を見る ↗GitHub で見る ↗

提示されたリポジトリ情報によると、sgl-project/sglang の最新リリースは v0.5.22 です。SGLang は大規模言語モデルとマルチモーダルモデル向けのオープンソース推論フレームワークです。ただし、この情報には v0.5.22 の変更点や公開日が示されていないため、このバージョンで何が追加・修正されたかは確認できません。リポジトリの説明では、高性能なサービングフレームワークとして紹介されており、Python で書かれ、Apache-2.0 ライセンスを使用しています。

README によると、SGLang は大規模言語モデルに加えて、視覚言語モデルと diffusion モデルも扱います。エージェント型ワークロード、大規模サービング、RL ロールアウト向けに最適化されていると説明しています。RL ロールアウトは、強化学習に使うモデル出力を生成する工程です。別個の SGLang Diffusion エンジンは画像と動画の生成に使われ、リポジトリと `sglang` Python パッケージに含まれます。対応対象として GPU、TPU、NPU、CPU と Apple Silicon を挙げ、Docker イメージまたは Python 環境でインストールしてモデルを実行できると案内しています。

注目されるのは、モデルサービングと生成をひとつのフレームワークで扱うという範囲の広さです。提示された記録には v0.5.19 から v0.5.21 までのリリース日が示されており、この期間には 2〜3 週間間隔でリリースされています。リリース当日に DeepSeek-V4.1 Flash のような新モデルに対応した事例や、prefix キャッシュに関する機能も記録に言及されています。しかしこの情報だけでは、v0.5.22 の具体的な改善点や性能上の優位性は判断できません。