zhulinsen/litemoe는 혼합 전문가 모델(MoE)을 위한 소규모 추론 엔진이다. 별도 릴리스 버전은 FACTS에 주어지지 않았다. 저장소 설명은 한 오후에 읽을 수 있는 MoE 추론 엔진이라고 소개한다. Python 약 1600줄로 작성됐으며, vLLM의 전문가·어텐션·라우터 커널을 사용하고 순방향 계산, 키값 캐시(KV cache), 생성 루프는 직접 구성한다.
MoE는 여러 전문가 가운데 일부를 골라 계산하는 모델 구조다. LiteMoE는 이 구조의 단일 GPU 추론에서 계산 경로를 간소화한다. README에 따르면 A100과 L4의 고정 배치 조건에서 자체 비교 처리량은 vLLM보다 5~9퍼센트 높았다. 배치 마스크와 인덱스 조회 등 불필요한 연산을 제거한 점을 그 근거로 든다. 구현 언어는 Python이고 라이선스는 Apache-2.0이다.
이 처리량 수치는 README가 제시한 자체 비교 결과이며, 전체 서빙 스택이나 동적 배치 지원을 뜻하지 않는다. 지원 범위도 Granite 3.1 1B와 3B의 단일 GPU 추론으로 한정된다. README에는 GSM8K 시험 결과도 있지만, 제시된 범위만으로 일반적인 서빙 환경의 성능까지 판단하기는 어렵다. 따라서 범위가 제한된 추론 구현을 살펴보는 자료에 가깝다.