a775828b-dot/xtier

a775828b-dot/xtier는 혼합 전문가 모델 추론을 CPU와 GPU 메모리에 나눠 배치하고 일부 임베딩 행을 저장장치에서 읽는 SGLang 플러그인이다.

GitHub 설명: Cross-tier CPU/GPU hybrid MoE inference for SGLang (plugin, tracks upstream main)

스타

★ 6

포크

1

언어

Python

라이선스

Apache-2.0