github.devotd.
新发现推理与服务

gpustack/gpustack v2.2.3 — GPU 集群模型服务管理器

GPUStack 是一个 Apache-2.0 开源管理器,用于管理本地服务器、Kubernetes 和云端的 GPU 集群,提供基于 vLLM·SGLang 的模型服务以及可通过 SSH 接入的 GPU 实例,最新版本为 v2.2.3。

仓库信息gpustack/gpustack ↗

GPUStack 是一个 Apache-2.0 开源管理器,用于管理本地服务器、Kubernetes 和云端的 GPU 集群,提供基于 vLLM·SGLang 的模型服务以及可通过 SSH 接入的 GPU 实例,最新版本为 v2.2.3。

GitHub 项目说明: A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU instances.

星标
★ 5.9K
复刻
692
语言
Python
许可证
Apache-2.0
最新版本
v2.2.3
查看原始来源 ↗在 GitHub 查看 ↗

GPUStack 是一个用于管理 AI 模型服务 GPU 集群的开源管理器。公开仓库为 gpustack/gpustack,GitHub 上标注的最新版本是 v2.2.3。不过,本次整理的资料并未包含该版本所含的变更内容,因此具体有哪些变化仍需直接查看仓库的发布说明才能确认。

实现语言为 Python,许可证为 Apache-2.0。管理对象涵盖本地服务器、Kubernetes 集群和云环境中的 GPU 集群,可在一个地方统一处理多个地点的 GPU 资源。其核心作用是协调多个集群的工作节点与推理引擎,从而分布式部署模型服务。推理引擎可同时配置 vLLM、SGLang、TensorRT-LLM 以及自定义引擎,并在需要时提供可申请、通过 SSH 立即接入的 GPU 实例。还一揽子内置了自动故障恢复、负载均衡、监控、认证与访问控制,以及 OpenAI 兼容 API。当前 GitHub 星标数为 5862。

不过,所提供的 README 摘要中既没有性能基准测试数据,也没有展示真实生产部署规模的数字。5862 个星标和资料中记录的势头评分(满分 10 分中为 4.6)只是关注度的信号,并非经过验证的性能。资料中也没有给出对比对象,因此难以据此判断它与其他管理器孰优孰劣。在本地与云混合的环境中,引擎组合最多能扩展到何种规模,还需要进一步查阅发布说明和源代码。目前能够确认的只是其管理对象的广度以及 Apache-2.0 许可证;性能与运营规模只能留待日后判断。