Xolotl は Strata を基盤に、単一の GPU で大規模 MoE モデルを動かすよう拡張した C++ 推論エンジンである。旧称は Strata-DSV4.1。DeepSeek-V4.1-Flash 552B、GLM-5.3-Flash、Qwen3.8-Flash-Next、Qwen3.8-27B を単一の OpenAI・Anthropic 互換サーバーで提供する。リポジトリのライセンスは MIT。
要点は、モデルの MoE expert を VRAM、固定の RAM 領域、NVMe に分けて配置する階層化手法である。トークンごとに必要な expert を事前に移し込み、GPU メモリより大きいモデルを取り扱えるようにする。ここに混合精度量子化と speculative decoding、512K コンテキスト用の 4-bit KV cache を組み合わせる。README によれば、RTX 4090 24 GB と 90 GB DDR4 の環境で DeepSeek-V4.1-Flash は decode 26.8 tok/s、Qwen3.8-Flash-Next は 127.8 tok/s、Qwen3.8-27B は 98.5 tok/s を記録した。README は HumanEval 21/21、tool call 10/10、agentic 3/3 も示し、DeepSeek の weight サイズは 152 GiB だと明記している。Strata ベースのコードに約 71,000 行を追加したという説明もある。
ただし GLM-5.3-Flash の測定値はまだ示されていない。README に書かれた動作条件は Linux と 24 GB 以上の NVIDIA GPU である。リポジトリは star 32 個で、公開情報のみでは実際の利用範囲や維持状況を判断しにくい。示された性能値も、README に記載された結果として捉えるのが適切である。