zhulinsen/litemoe 是面向混合专家模型（MoE）的小型推理引擎。FACTS 中未给出单独的发布版本。仓库简介把它介绍为“一个下午就能读完的 MoE 推理引擎”。它用大约 1600 行 Python 编写，使用 vLLM 的专家、注意力和路由器内核，而前向计算、键值缓存（KV cache）以及生成循环则由自己实现。
MoE 是一种在多个专家中选出部分参与计算的模型结构。LiteMoE 在这一结构的单 GPU 推理中简化了计算路径。README 指出，在 A100 和 L4 的固定批次条件下，其自测吞吐量比 vLLM 高 5%~9%。给出的理由是去掉了批次掩码和索引查询等不必要的运算。实现语言是 Python，许可证是 Apache-2.0。
这一吞吐量数字是 README 给出的自测对比结果，并不意味着支持完整的服务栈或动态批处理。支持范围也仅限于 Granite 3.1 1B 和 3B 的单 GPU 推理。README 里还有 GSM8K 的测试结果，但仅凭给出的范围，很难判断在一般服务环境下的性能。因此，它更接近于一份用来考察范围受限的推理实现的资料。