项目

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

文章

发布OCT 19

sgl-project/sglang v0.5.22 是一次发布，包含新的模型支持、模型加载变更、prefill 与 decode 的分离部署，以及稀疏注意力适用范围的扩大。