1picassoai/coachwhip 是用 Metal 和 Rust 编写的、专为 Apple 芯片打造的混合专家(MoE)推理引擎。最新版本是 v0.5.3,但现有记录中没有说明该版本有哪些改动。仓库介绍称,它可以在 16GB 的 Mac 上完全离线以约 13 tok/s 运行 80B 的 Qwen3-Coder-Next。
对于能装进内存的模型配置,该引擎会把 40 层共 256 个 expert 全部常驻 GPU,无需从 SSD 流式加载。expert 是承担 MoE 模型部分计算的权重集合。80B 代码模型和 gpt-oss-120b 则走另一条路径,从 SSD 流式加载 expert。它不同于 llama.cpp 或 MLX 系列,自行掌握 Metal 内核和由 Candle 派生的引擎。README 给出的数据是:在 16GB 的 M4 上,Qwen3.6-35B 的生成速度为 38 tok/s,1500 token 提示词的处理速度约为 300 tok/s。
运行要求为 M1 及以上的 Apple 芯片、16GB 内存、macOS 15 及以上,以及 15GB 可用磁盘空间。OpenAI 兼容 API 以及与 Aider 的集成方式也都有文档说明。不过这些性能数据来自仓库自身的基准测试,没有独立验证,因此所列速度仅供参考,本记录中也没有可支撑实际性能的外部验证材料。