youssofal/mtplx v2.12.2 — 面向 Apple Silicon 的本地推理工具

youssofal/mtplx 是一款在 Apple Silicon 上通过 MTP 推测解码运行本地模型的工具，最新版本是 v2.12.2。

2026年10月24日

youssofal/mtplx 是一款在 Apple Silicon 上通过 MTP 推测解码运行本地模型的工具，最新版本是 v2.12.2。

GitHub 项目说明: The fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.

星标: ★ 2.6K
复刻: 206
语言: Python
许可证: Apache-2.0
最新版本: v2.12.2

查看原始来源 ↗在 GitHub 查看 ↗

youssofal/mtplx 是一款在 Apple Silicon 上运行本地模型的 Python 应用和命令行工具。最新版本是 v2.12.2。现有记录中没有说明本次版本新增或变更了什么。该工具利用模型内置的多令牌预测（MTP）头执行推测解码。目标模型为 Qwen 3.8 Flash Next、Qwen 3.8 27B 和 Ternary Bonsai 2 27B。

推测解码是一种通过一次性验证模型先生成的草稿令牌来加快生成速度的方式。README 说明其在草稿验证中采用带残差修正的拒绝采样，并称在任何温度下输出都保持准确。仓库介绍给出了在 M5 Max 上使用 OpenCode 时 125 tok/s 的数据，并说明 16 GB 内存的 Mac 可以运行 27B 模型。这些数值附有测量条件和记录链接。项目还提供兼容 OpenAI 和 Anthropic 的本地服务器，许可证为 Apache-2.0。

这些性能数值是仓库在特定环境下得出的结果，没有依据认为它们可以原样套用到其他硬件或使用方式。README 也说明，图像请求的等价性验证尚未重复进行。需要 macOS 14 或更高版本。因此，公开的性能主张应被理解为该条件下的记录，而不是通用的比较结果；图像请求的准确性仍需进一步确认。