seuros/mdma は README で紹介されている Rust ベースの LLM 推論エンジンです。GGUF ローダー、トークナイザー、トランスフォーマーデコーダー、KV キャッシュ、サンプラーを実装し、手元のハードウェアでモデルを提供することに重点を置いています。公開されている情報にはリリースは非公開であり、リポジトリは 2026 年 9 月 22 日に作成されました。ライセンスは BSD-2-Clause、スターは 14 個です。
このエンジンは、単一の Backend トレイトの下で CPU、ROCm、Vulkan、Level Zero、CUDA、Metal、Coral Edge TPU をサポートしています。README によると、各バックエンドのカーネルはベンダーライブラリを包んだものではなく独自に書かれたものです。メモリは重み、KV キャッシュ、ワークスペースを割り当てる前に予約し、収容できないリクエストは RESOURCE_EXHAUSTED として拒否します。モデル全体が GPU メモリに収まらない場合は、--gpu-layers auto で可能な限り多くのレイヤーを GPU に配置します。GPU カーネルは CPU バックエンドと照合され、固定された llama.cpp の基準と greedy トークンが一致する必要がある検証ゲートを通らなければなりません。README は、CUDA ではツールキットではなくドライバー API を使い、Edge TPU のプログラムはデコードされた命令セットから直接生成されると説明しています。
ただし README はプロジェクトの状態を experimental と記載しています。約 1,000 tok/s は非公開システムにおける自己申告の数値であり、公開版の再実装はまだその数値に到達していないと述べています。スター 14 個の初期段階のリポジトリであり、実運用での検証も限られています。したがって、性能が立証されたサービングエンジンというより、個人用ハードウェア向けのバックエンドと検証構造を調べてみる価値のある資料に近いものです。