Xolotl 是在 Strata 基础上扩展的 C++ 推理引擎,用于在单张 GPU 上运行大型 MoE 模型。它此前名为 Strata-DSV4.1。它通过一个 OpenAI/Anthropic 兼容服务器提供 DeepSeek-V4.1-Flash 552B、GLM-5.3-Flash、Qwen3.8-Flash-Next 和 Qwen3.8-27B。该仓库采用 MIT 许可证。
核心是把模型的 MoE expert 划分到 VRAM、固定 RAM 空间和 NVMe 的分层方式。每个 token 所需的 expert 会提前迁移,从而能够处理大于 GPU 显存的模型。在此基础上再应用混合精度量化、speculative decoding,以及面向 512K 上下文的 4-bit KV cache。README 称,在 RTX 4090 24 GB 和 90 GB DDR4 的环境下,DeepSeek-V4.1-Flash 的 decode 为 26.8 tok/s,Qwen3.8-Flash-Next 为 127.8 tok/s,Qwen3.8-27B 为 98.5 tok/s。README 还给出 HumanEval 21/21、tool call 10/10、agentic 3/3,并说明 DeepSeek 的 weight 大小为 152 GiB。另有说明称,在基于 Strata 的代码中新增了约 71,000 行。
不过 GLM-5.3-Flash 的实测数据尚未给出。README 中写明的运行条件为 Linux 和 24 GB 以上的 NVIDIA GPU。该仓库有 32 个 star,仅凭公开信息难以判断其实际使用范围或维护状态。所列性能数值也更适合视为 README 中记录的结果。