eelgaev/legion は NVIDIA のユニファイドメモリシステム上で混合エキスパートモデル（MoE）を実行する Rust 推論エンジンである。リポジトリの説明と README によれば、対象は IBM AC922 と DGX Spark で、GGUF と Hugging Face safetensors の重みに対応する。GPU カーネルでは PTX と ggml の量子化カーネルを併用している。公開されている最新リリースはないため、本稿は特定バージョンの変更点ではなく、リポジトリに紹介されている機能を扱うものである。
モデルがビデオメモリ（VRAM）に収まらない場合、エキスパートをホストメモリに置いて必要に応じて読み込む方式や、使用頻度の高いエキスパートをビデオメモリにキャッシュする方式が提示されている。2 つの重み形式は同じスケジューラと投機的デコード経路で処理される。投機的デコードは候補トークンを先に生成してから検証する方式である。README では連続バッチ処理とプレフィックス文脈キャッシュも説明されており、リポジトリの説明には NVFP4 と FP8 の重みへ対応と明記されている。ライセンスは Apache-2.0 である。
README の性能表は複数のデバイスとモデルを比較しているが、測定条件と未完了の項目も併せて示している。そのため比較結果をすべての環境の性能として一般化することは難しい。リポジトリは 2026-11-04 に作成され、スターは 4 つで、公開リリースはない。現在確認できる根拠はリポジトリの説明と README の機能および性能資料に限られるため、性能を判断するには残りの測定項目を確認する必要がある。