eelgaev/legion 是一个在 NVIDIA 统一内存系统上运行混合专家模型（MoE）的 Rust 推理引擎。根据仓库描述和 README，它面向 IBM AC922 与 DGX Spark，支持 GGUF 和 Hugging Face safetensors 权重。GPU 内核同时使用 PTX 和 ggml 量化内核。由于没有公开的最新版本，本文介绍的是仓库中所呈现的功能，而不是某个特定版本的变更。
当模型无法装入显存（VRAM）时，可将专家放在主机内存中按需读取，或把常用专家缓存到显存中。两种权重格式由同一套调度器和推测解码路径处理。推测解码先生成候选令牌，再进行验证。README 还介绍了连续批处理和前缀上下文缓存，仓库描述中也明确写明支持 NVFP4 和 FP8 权重。许可证为 Apache-2.0。
README 的性能表比较了多种设备和模型，同时也说明了测量条件与尚未完成的项目。因此难以将比较结果推广为所有环境下的性能。仓库创建于 2026-11-04，拥有 4 个星标，没有公开版本。当前可确认的依据仅限于仓库描述以及 README 中的功能与性能资料，因此在判断性能时还需要查看剩余的测量项。