github.devotd.
新发现推理与服务

indras-mirror/xolotl — 面向单 GPU 的大型 MoE 推理引擎

Xolotl 是在 Strata 基础上扩展的 C++ 引擎,通过 OpenAI/Anthropic 兼容服务器提供多个大型模型;README 给出的 RTX 4090 上 DeepSeek-V4.1-Flash 552B 的 decode 速度为 26.8 tok/s。

仓库信息indras-mirror/xolotl ↗

Xolotl (formerly Strata-DSV4.1): DeepSeek-V4.1-Flash, all 552B, on one gaming PC (RTX 4090 + 90 GB RAM) at ~27 tok/s, plus GLM-5.3-Flash, Qwen3.8-Flash-Next and Qwen3.8-27B. A heavily extended fork of Strata: MoE experts tiered across VRAM, pinned RAM and NVMe; OpenAI + Anthropic API.

星标
★ 32
复刻
6
语言
C++
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

Xolotl 是在 Strata 基础上扩展的 C++ 推理引擎,用于在单张 GPU 上运行大型 MoE 模型。它此前名为 Strata-DSV4.1。它通过一个 OpenAI/Anthropic 兼容服务器提供 DeepSeek-V4.1-Flash 552B、GLM-5.3-Flash、Qwen3.8-Flash-Next 和 Qwen3.8-27B。该仓库采用 MIT 许可证。

核心是把模型的 MoE expert 划分到 VRAM、固定 RAM 空间和 NVMe 的分层方式。每个 token 所需的 expert 会提前迁移,从而能够处理大于 GPU 显存的模型。在此基础上再应用混合精度量化、speculative decoding,以及面向 512K 上下文的 4-bit KV cache。README 称,在 RTX 4090 24 GB 和 90 GB DDR4 的环境下,DeepSeek-V4.1-Flash 的 decode 为 26.8 tok/s,Qwen3.8-Flash-Next 为 127.8 tok/s,Qwen3.8-27B 为 98.5 tok/s。README 还给出 HumanEval 21/21、tool call 10/10、agentic 3/3,并说明 DeepSeek 的 weight 大小为 152 GiB。另有说明称,在基于 Strata 的代码中新增了约 71,000 行。

不过 GLM-5.3-Flash 的实测数据尚未给出。README 中写明的运行条件为 Linux 和 24 GB 以上的 NVIDIA GPU。该仓库有 32 个 star,仅凭公开信息难以判断其实际使用范围或维护状态。所列性能数值也更适合视为 README 中记录的结果。