magnitudedev/magnitude 是一个开源本地推理引擎，在下载模型时会针对当前计算机调优内核。内核是在 GPU 或 CPU 上执行模型计算的代码。项目以 Rust 编写，并以 Apache-2.0 许可证开源。据其说明，支持 Apple Silicon、NVIDIA、AMD 以及 CPU。
Magnitude 的核心是找到适合硬件的执行组合，并将其用于模型推理。README 称其平均比 Ollama 快 2 倍以上，并以 11 个热门本地模型为基准，给出在 Mac 上预填充 1.32 倍、解码 2.19 倍，在 NVIDIA 上预填充 1.34 倍、解码 2.17 倍的数据。预填充是处理输入上下文的阶段，解码则是其后继续生成 token 的阶段。调优过程中会改变 GPU 线程配置、分块大小和数据预取距离，并挑选输出保持不变的组合。据 README 说明，调优最多耗时 1 分钟。
此外还提供各模型专用的推测解码草稿模型和量化 KV 缓存。KV 缓存可将每个代理的内存占用减半，并在代理结束后归还内存。前缀缓存也会在会话之间共享。内置 CLI 的桌面应用可与 Pi、OpenCode、Hermes 和 Codex 连接。不过，这些速度数据是 README 给出的结果，仅凭所提供的资料无法确认能否独立复现。因此，这些对比数据更适合看作 Magnitude 自行公布的性能。