릴리스
sgl-project/sglang v0.5.22 — 모델 지원과 서빙 변경
sgl-project/sglang v0.5.22는 새 모델 지원과 모델 로딩, 프리필·디코딩 분리 배치, 희소 어텐션 적용 범위 확대를 담은 릴리스다.
SGLang is a high-performance serving framework for large language models and multimodal models.
GitHub에서 보기 ↗sgl-project/sglang v0.5.22는 새 모델 지원과 모델 로딩, 프리필·디코딩 분리 배치, 희소 어텐션 적용 범위 확대를 담은 릴리스다.
조건에 맞는 소식이 없습니다.