zhulinsen/litemoe

zhulinsen/litemoe는 vLLM의 일부 커널을 활용해 추론 과정을 직접 구성한 Python 기반 MoE 엔진이다.

GitHub 설명: A MoE inference engine you can read in an afternoon.

스타

★ 2

포크

0

언어

Python

라이선스

Apache-2.0