gpustack/gpustack

GPUStack は、オンプレミスサーバー・Kubernetes・クラウドの GPU クラスタを管理し、vLLM・SGLang ベースのモデルサービングと SSH で接続できる GPU インスタンスを提供する Apache-2.0 オープンソースの管理ツールで、最新リリースは v2.2.3 です。

GitHub の説明: A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU instances.

スター

★ 5.9K

フォーク

692

言語

Python

ライセンス

Apache-2.0

最新リリース

v2.2.3