zhulinsen/litemoe は混合専門家モデル（MoE）向けの小規模な推論エンジンです。FACTS には個別にリリース版は記載されていません。リポジトリの説明は「半日で読み終えられる MoE 推論エンジン」と紹介しています。約1600行の Python で書かれ、vLLM のエキスパート、アテンション、ルーターの各カーネルを利用し、前計算、キー値キャッシュ（KV cache）、生成ループは自前で実装しています。
MoE は複数のエキスパートの中から一部を選んで計算するモデル構造です。LiteMoE はこの構造における単一 GPU 推論の計算経路を簡素化します。README によると、A100 と L4 の固定バッチ条件での独自比較スループットは vLLM より 5〜9 パーセント高かったとしています。その根拠として、バッチマスクやインデックス参照といった不要な演算を削減したことを挙げています。実装言語は Python、ライセンスは Apache-2.0 です。
このスループットの数値は README が提示した独自比較の結果であり、全体のサービングスタックや動的バッチの対応を意味するものではありません。対応範囲も Granite 3.1 1B と 3B の単一 GPU 推論に限られます。README には GSM8K の試験結果もありますが、提示されている範囲だけでは一般的なサービング環境での性能を判断するのは困難です。したがって、範囲が限定された推論実装を検討するための資料に近いものです。