새 소식
indras-mirror/xolotl — 단일 GPU용 대형 MoE 추론 엔진
Strata를 확장한 C++ 엔진 Xolotl은 여러 대형 모델을 OpenAI·Anthropic 호환 서버로 제공하며, README는 RTX 4090에서 DeepSeek-V4.1-Flash 552B의 decode 속도를 26.8 tok/s로 제시한다.
Xolotl (formerly Strata-DSV4.1): DeepSeek-V4.1-Flash, all 552B, on one gaming PC (RTX 4090 + 90 GB RAM) at ~27 tok/s, plus GLM-5.3-Flash, Qwen3.8-Flash-Next and Qwen3.8-27B. A heavily extended fork of Strata: MoE experts tiered across VRAM, pinned RAM and NVMe; OpenAI + Anthropic API.
GitHub에서 보기 ↗Strata를 확장한 C++ 엔진 Xolotl은 여러 대형 모델을 OpenAI·Anthropic 호환 서버로 제공하며, README는 RTX 4090에서 DeepSeek-V4.1-Flash 552B의 decode 속도를 26.8 tok/s로 제시한다.
조건에 맞는 소식이 없습니다.