Lsglang는 SGLang을 확장해 CPU와 GPU를 함께 쓰는 MoE(여러 expert로 나눠 처리하는 모델) 혼합 추론 서버다. 2026년 11월 3일 커밋 2eee88c의 메시지는 'Release 1.7.2'이고, 바뀐 파일은 README.md, RELEASE_NOTES.md, python/pyproject.toml 세 개다(137줄 변경, 122줄 추가, 15줄 삭제).
이번 버전의 중심은 GPU expert 캐시, 자주 쓰는 expert를 GPU에 상주시키는 부분을 채우는 두 경로를 나눈 것이다. 새 환경변수 LK_POOL_NO_STAGE의 기본값 1은 각 NUMA 조각을 pinned 호스트 페이지에서 슬롯으로 곧바로 DMA 보내 호스트 복사를 없앤다. 8노드 호스트에서는 비동기 DMA 복사가 약 16회 일어난다. README는 같은 빌드에서 DeepSeek-V4-Flash-0731/DSPARK의 expert 어드미션 비용이 1.1 ms에서 0.13 ms로, gather가 1669-2494 us에서 0 us로 줄었다고 적었다. 0을 주면 기존 coalesced staging ring인 LK_POOL_STAGE가 대신 동작한다.
더 눈에 띄는 변화는 스페큿레이티브 디코딩 쪽이다. LK_VERIFY_RESIDENT의 기본값이 0에서 1로 바뀌어 드래프트 행이 실제 토큰이 만든 expert residency를 그대로 탄다. README는 DeepSeek-V4-Flash-0731/DSPARK에서 CPU 전용 경로 대비 +17.6%, 수용률은 불변이라고 적었다. LK_POOL_MBOX_SPLIT은 1행에서 7.43 ms/step 대 7.07-7.35 ms/step로 어느 쪽이 빠른지 갈리지 않아 레시피에서 빠졌고, LK_POWER_SAVING도 대기 상태 전용이며 추론 중 전력을 낮추지 않는다고 정정됐다. LK_POOL_LOG, LK_VERIFY_PUMP, LK_POOL_DET_SPLIT, LK_POOL_SPLIT_PROBE는 디버그 전용 절로 분리됐다.
다만 이 수치만으로 판단하기는 이르다. 값은 모두 README가 특정 빌드에서 측정한 것이라, DeepSeek-V4.1-Flash-1017 TP2/3090에서는 결론이 반대다. 이 구성은 per-fragment 기본값에서 디코드 중간값이 27.0 tok/s에서 21.1 tok/s로 떨어지고 LK_POOL_NO_STAGE=0에서 26.0 tok/s로 돌아온다. 표본도 284회와 11회로 갈린다. 그래서 launch/sglang_serve_dsv41_*.sh 세 레시피는 0으로 고정하고 나머지 곳은 기본값 1을 그대로 둔다. 다른 모델과 하드웨어에 그대로 적용할 근거는 없다.