eelgaev/legion

eelgaev/legion은 NVIDIA 통합 메모리 시스템에서 MoE 모델을 실행하며 GGUF와 safetensors 가중치를 처리하는 Rust 추론 엔진이다.

GitHub 설명: Rust LLM inference engine for MoE models on NVIDIA unified memory (IBM AC922, DGX Spark). Runs GGUF and Hugging Face safetensors (NVFP4, FP8) as shipped, with speculative decoding, continuous batching and prefix caching.

스타

★ 4

포크

0

언어

Rust

라이선스

Apache-2.0