seuros/mdma

Model Dispatch and Memory Allocator: an LLM inference engine for the hardware you own. Custom CPU, ROCm, Vulkan, CUDA, Metal and Level Zero kernels, exact memory admission, mTLS gRPC and private federation.

スター

★ 14

フォーク

4

言語

Rust

ライセンス

BSD-2-Clause

最新リリース

—