github.devotd.
新着推論・サービング

gpustack/gpustack v2.2.3 — GPU クラスタモデルサービング管理ツール

GPUStack は、オンプレミスサーバー・Kubernetes・クラウドの GPU クラスタを管理し、vLLM・SGLang ベースのモデルサービングと SSH で接続できる GPU インスタンスを提供する Apache-2.0 オープンソースの管理ツールで、最新リリースは v2.2.3 です。

リポジトリ情報gpustack/gpustack ↗

GPUStack は、オンプレミスサーバー・Kubernetes・クラウドの GPU クラスタを管理し、vLLM・SGLang ベースのモデルサービングと SSH で接続できる GPU インスタンスを提供する Apache-2.0 オープンソースの管理ツールで、最新リリースは v2.2.3 です。

GitHub の説明: A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU instances.

スター
★ 5.9K
フォーク
692
言語
Python
ライセンス
Apache-2.0
最新リリース
v2.2.3
原文を見る ↗GitHub で見る ↗

GPUStack は AI モデルサービング用の GPU クラスタを管理するオープンソースの管理ツールです。公開リポジトリは gpustack/gpustack で、GitHub に記載された最新リリースは v2.2.3 です。ただし、このバージョンに含まれる変更内容は今回整理した資料には含まれていないため、何が変わったかはリポジトリのリリースノートを直接確認する必要があります。

実装言語は Python、ライセンスは Apache-2.0 です。管理対象はオンプレミスサーバー、Kubernetes クラスタ、クラウド環境の GPU クラスタで、複数の場所の GPU リソースを一元的に扱えます。中核となる役割は、複数のクラスタのワーカーと推論エンジンを調整し、モデルサービスを分散配置することです。推論エンジンは vLLM・SGLang・TensorRT-LLM とユーザー定義エンジンをすべて構成でき、必要に応じて要求すれば SSH でそのまま接続できる GPU インスタンスも提供します。自動復旧、負荷分散、監視、認証とアクセス制御、OpenAI 互換 API も一式の機能としてまとまっています。現在の GitHub のスター数は 5862 です。

ただし、提供された README の要約にはパフォーマンスのベンチマークも、実運用のデプロイ規模を示す数値もありません。スター数 5862 と資料に記録されたモメンタムスコア(10 点満点中 4.6)は関心のシグナルであって、検証された性能ではありません。比較対象も併せて示されていないため、この資料だけから他の管理ツールとの優劣は判断しにくいです。オンプレミスとクラウドが混在する環境で、どのエンジン組み合わせをどの規模まで適用できるかは、リリースノートとソースコードをさらに調べる必要があります。確認できるのは管理対象の幅と Apache-2.0 ライセンスまでであり、性能と運用規模は判断を先延ばしにするしかありません。