eelgaev/legion

eelgaev/legion 是一个 Rust 推理引擎，可在 NVIDIA 统一内存系统上运行 MoE 模型，并处理 GGUF 与 safetensors 权重。

GitHub 项目说明: Rust LLM inference engine for MoE models on NVIDIA unified memory (IBM AC922, DGX Spark). Runs GGUF and Hugging Face safetensors (NVFP4, FP8) as shipped, with speculative decoding, continuous batching and prefix caching.

星标

★ 4

复刻

0

语言

Rust

许可证

Apache-2.0