eelgaev/legion은 NVIDIA 통합 메모리 시스템에서 혼합 전문가 모델(MoE)을 실행하는 Rust 추론 엔진이다. 저장소 설명과 README에 따르면 IBM AC922와 DGX Spark를 대상으로 하며, GGUF와 Hugging Face safetensors 가중치를 지원한다. GPU 커널에는 PTX와 ggml 양화 커널을 함께 사용한다. 공개된 최신 릴리스는 없어, 특정 버전의 변경 사항이 아니라 저장소에 소개된 기능을 다루는 글이다.
모델이 영상 메모리에 들어가지 않는 경우 전문가를 호스트 메모리에 두고 필요할 때 읽어 오거나, 자주 쓰는 전문가를 영상 메모리에 캐시하는 방식이 제시돼 있다. 두 가중치 형식은 같은 스케줄러와 추측 디코딩 경로에서 처리된다. 추측 디코딩은 후보 토큰을 먼저 생성한 뒤 검증하는 방식이다. README에는 연속 배치 처리와 접두 문맥 캐시도 설명돼 있으며, NVFP4와 FP8 가중치를 지원한다고 저장소 설명에 명시돼 있다. 라이선스는 Apache-2.0이다.
README의 성능 표는 여러 기기와 모델을 비교하지만, 측정 조건과 미완료 항목도 함께 밝힌다. 따라서 비교 결과를 모든 환경의 성능으로 일반화하기는 어렵다. 저장소는 2026-11-04에 생성됐고 별은 4개이며, 공개 릴리스는 없다. 현재 확인 가능한 근거는 저장소 설명과 README의 기능 및 성능 자료에 한정되므로, 성능 판단에는 남은 측정 항목을 살펴볼 필요가 있다.