github.devotd.
新发现推理与服务

seuros/mdma — 拥有七个后端的 Rust 推理引擎

介绍 seuros/mdma 的七个硬件后端、其内存管理与内核验证结构,以及其 experimental 状态。

仓库信息seuros/mdma ↗

Model Dispatch and Memory Allocator: an LLM inference engine for the hardware you own. Custom CPU, ROCm, Vulkan, CUDA, Metal and Level Zero kernels, exact memory admission, mTLS gRPC and private federation.

星标
★ 14
复刻
4
语言
Rust
许可证
BSD-2-Clause
查看原始来源 ↗在 GitHub 查看 ↗

seuros/mdma 是其 README 中介绍的 Rust LLM 推理引擎。它实现了 GGUF 加载器、分词器、Transformer 解码器、KV 缓存和采样器,重点在于用用户自己拥有的硬件提供模型服务。已有信息中没有公开发布版本,仓库创建于 2026 年 9 月 22 日。许可证为 BSD-2-Clause,星标数为 14。

该引擎在一个 Backend trait 之下支持 CPU、ROCm、Vulkan、Level Zero、CUDA、Metal 和 Coral Edge TPU。README 说明,各后端的内核是自行编写的,而非对厂商库的封装。权重、KV 缓存和工作空间的内存在分配之前就会预留,无法容纳的请求会以 RESOURCE_EXHAUSTED 被拒绝。如果模型整体装不进 GPU 内存,--gpu-layers auto 会把尽可能多的层放到 GPU 上。GPU 内核会与 CPU 后端对照,并必须通过验证门:其 greedy token 需要与固定的 llama.cpp 基准一致。README 还说明,CUDA 使用驱动 API 而非工具包,Edge TPU 程序则直接从解码后的指令集生成。

不过 README 将项目状态标记为 experimental。约 1,000 tok/s 是来自未公开系统的自我报告数值,README 也指出公开重建版尚未达到该数值。作为一个仅 14 个星标的早期仓库,它在真实使用中的验证也很有限。因此,与其说这是性能已获验证的推理服务引擎,不如说它更接近一份值得考察的资料,供了解面向个人硬件的后端与验证结构之用。