gpustack/gpustack

GPUStack은 온프레미스 서버·Kubernetes·클라우드의 GPU 클러스터를 관리해 vLLM·SGLang 기반 모델 서빙과 SSH로 접속할 수 있는 GPU 인스턴스를 제공하는 Apache-2.0 오픈소스 관리자이며, 최신 릴리스는 v2.2.3이다.

GitHub 설명: A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU instances.

스타

★ 5.9K

포크

692

언어

Python

라이선스

Apache-2.0

최신 릴리스

v2.2.3