新着
indras-mirror/xolotl — 単一 GPU 向けの大規模 MoE 推論エンジン
Strata を拡張した C++ エンジン Xolotl は複数の大規模モデルを OpenAI・Anthropic 互換サーバーで提供し、README は RTX 4090 での DeepSeek-V4.1-Flash 552B の decode 速度を 26.8 tok/s としている。
Xolotl (formerly Strata-DSV4.1): DeepSeek-V4.1-Flash, all 552B, on one gaming PC (RTX 4090 + 90 GB RAM) at ~27 tok/s, plus GLM-5.3-Flash, Qwen3.8-Flash-Next and Qwen3.8-27B. A heavily extended fork of Strata: MoE experts tiered across VRAM, pinned RAM and NVMe; OpenAI + Anthropic API.
GitHub で見る ↗Strata を拡張した C++ エンジン Xolotl は複数の大規模モデルを OpenAI・Anthropic 互換サーバーで提供し、README は RTX 4090 での DeepSeek-V4.1-Flash 552B の decode 速度を 26.8 tok/s としている。
該当するニュースはありません。