seuros/mdma는 README에서 소개하는 Rust 기반 LLM 추론 엔진이다. GGUF 로더, 토크나이저, 트랜스포머 디코더, KV 캐시와 샘플러를 구현해 개인이 가진 하드웨어에서 모델을 서빙하는 데 초점을 둔다. 제공된 정보에는 공개 릴리스가 없으며, 저장소는 2026년 9월 22일 생성됐다. 라이선스는 BSD-2-Clause이고, 스타는 14개다.
이 엔진은 하나의 Backend 트레이트 아래 CPU, ROCm, Vulkan, Level Zero, CUDA, Metal, Coral Edge TPU를 지원한다. README에 따르면 각 백엔드의 커널은 벤더 라이브러리를 감싼 것이 아니라 직접 작성했다. 메모리는 가중치와 KV 캐시, 워크스페이스를 할당 전에 예약해 수용할 수 없는 요청을 RESOURCE_EXHAUSTED로 거절한다. GPU 메모리에 모델 전체가 들어가지 않으면 --gpu-layers auto로 가능한 만큼만 GPU에 배치한다. GPU 커널은 CPU 백엔드와 대조하며, 고정된 llama.cpp 기준과 greedy 토큰이 일치해야 하는 검증 게이트를 거친다. README는 CUDA에서 툴킷 대신 드라이버 API를 사용하고, Edge TPU 프로그램을 디코딩된 명령어 세트에서 직접 생성한다고 설명한다.
다만 README는 프로젝트 상태를 experimental로 표시한다. 약 1,000 tok/s는 비공개 시스템의 자기 보고 수치이며, 공개 재구현은 아직 그 수치에 도달하지 못했다고 밝힌다. 스타 14개인 초기 단계의 저장소라 실사용 검증도 제한적이다. 따라서 현재 성능이 입증된 서빙 엔진이라기보다, 개인 하드웨어용 백엔드와 검증 구조를 살펴볼 자료에 가깝다.