guqiong96/lsglang

guqiong96/lsglang 1.7.2는 GPU expert 캐시 채우기 경로를 둘로 나누고 스페큿레이티브 검증 기본값을 켠 릴리스 커밋이다.

GitHub 설명: Lsglang is a special extension of sglang that fully utilizes CPU and GPU computing resources with an efficient GPU parallel + NUMA parallel architecture, suitable for MOE model hybrid inference.

스타

★ 147

포크

17

언어

Python

라이선스

Apache-2.0

최신 릴리스

lsglang-v1.6.0