新发现
indras-mirror/xolotl — 面向单 GPU 的大型 MoE 推理引擎
Xolotl 是在 Strata 基础上扩展的 C++ 引擎,通过 OpenAI/Anthropic 兼容服务器提供多个大型模型;README 给出的 RTX 4090 上 DeepSeek-V4.1-Flash 552B 的 decode 速度为 26.8 tok/s。
Xolotl (formerly Strata-DSV4.1): DeepSeek-V4.1-Flash, all 552B, on one gaming PC (RTX 4090 + 90 GB RAM) at ~27 tok/s, plus GLM-5.3-Flash, Qwen3.8-Flash-Next and Qwen3.8-27B. A heavily extended fork of Strata: MoE experts tiered across VRAM, pinned RAM and NVMe; OpenAI + Anthropic API.
在 GitHub 查看 ↗Xolotl 是在 Strata 基础上扩展的 C++ 引擎,通过 OpenAI/Anthropic 兼容服务器提供多个大型模型;README 给出的 RTX 4090 上 DeepSeek-V4.1-Flash 552B 的 decode 速度为 26.8 tok/s。
没有符合条件的动态。