Devotd Github
新发现推理与服务

sgl-project/sglang v0.5.22 — 多模态推理框架

SGLang 是面向大语言模型与多模态模型的开源推理与服务框架,提供到的仓库信息中最新的发布版本是 v0.5.22。

仓库信息sgl-project/sglang ↗

SGLang 是面向大语言模型与多模态模型的开源推理与服务框架,提供到的仓库信息中最新的发布版本是 v0.5.22。

GitHub 项目说明: SGLang is a high-performance serving framework for large language models and multimodal models.

星标
★ 38.3K
复刻
10K
语言
Python
许可证
Apache-2.0
最新版本
v0.5.22
查看原始来源 ↗在 GitHub 查看 ↗

根据提供到的仓库信息,sgl-project/sglang 的最新发布版本是 v0.5.22。SGLang 是面向大语言模型与多模态模型的开源推理框架。不过这些信息中没有 v0.5.22 的变更内容与发布日期,因此无法确认本次版本新增或修复了什么。仓库说明将其介绍为高性能服务框架,使用 Python 编写,采用 Apache-2.0 许可证。

README 说明 SGLang 除了大语言模型之外,也覆盖视觉-语言模型与 diffusion 模型。它称自身针对 agent 型工作负载、大规模服务与 RL rollout 做了优化。RL rollout 是生成用于强化学习的模型输出的过程。另有独立的 SGLang Diffusion 引擎用于图像与视频生成,包含在仓库和 `sglang` Python 包中。它列出的支持目标包括 GPU、TPU、NPU、CPU 与 Apple Silicon,并说明可以通过 Docker 镜像或 Python 环境安装后运行模型。

值得关注的是,一个框架同时覆盖模型服务与生成任务的广度。提供到的记录给出了 v0.5.19 到 v0.5.21 的发布日期,这一期间发布间隔为 2~3 周。记录还提到在发布当天就支持 DeepSeek-V4.1 Flash 等新模型的案例,以及与 prefix 缓存相关的功能。但仅凭这些信息无法判断 v0.5.22 的具体改进或性能优势。