eelgaev/legion

eelgaev/legion は NVIDIA のユニファイドメモリシステム上で MoE モデルを実行し、GGUF と safetensors の重みを扱う Rust 推論エンジンである。

GitHub の説明: Rust LLM inference engine for MoE models on NVIDIA unified memory (IBM AC922, DGX Spark). Runs GGUF and Hugging Face safetensors (NVFP4, FP8) as shipped, with speculative decoding, continuous batching and prefix caching.

スター

★ 4

フォーク

0

言語

Rust

ライセンス

Apache-2.0