Xolotl은 Strata를 기반으로 GPU 한 대에서 대형 MoE 모델을 구동하도록 확장한 C++ 추론 엔진이다. 이전 이름은 Strata-DSV4.1이다. DeepSeek-V4.1-Flash 552B, GLM-5.3-Flash, Qwen3.8-Flash-Next, Qwen3.8-27B를 하나의 OpenAI·Anthropic 호환 서버로 제공한다. 저장소의 라이선스는 MIT다.
핵심은 모델의 MoE expert를 VRAM, 고정된 RAM 공간, NVMe에 나눠 두는 계층화 방식이다. 각 토큰에 필요한 expert를 미리 옮겨 GPU 메모리보다 큰 모델을 다룬다. 여기에 혼합 정밀도 양자화와 speculative decoding, 512K 컨텍스트용 4-bit KV cache를 적용한다. README에 따르면 RTX 4090 24 GB와 90 GB DDR4 환경에서 DeepSeek-V4.1-Flash는 decode 26.8 tok/s, Qwen3.8-Flash-Next는 127.8 tok/s, Qwen3.8-27B는 98.5 tok/s를 기록했다. README는 HumanEval 21/21, tool call 10/10, agentic 3/3도 함께 제시하며, DeepSeek weight 크기는 152 GiB라고 밝힌다. Strata 기반 코드에 약 71,000줄을 추가했다는 설명도 있다.
다만 GLM-5.3-Flash의 측정치는 아직 제시되지 않았다. README에 적힌 구동 조건은 Linux와 NVIDIA GPU 24 GB 이상이다. 저장소는 별 32개로, 공개된 정보만으로 실제 사용 범위나 유지 상태를 판단하기는 어렵다. 제시된 성능 수치도 README에 기재된 결과로 보는 편이 적절하다.