github.devotd.
新发现推理与服务

1picassoai/coachwhip v0.5.3 — 面向 Apple 芯片的 MoE 推理引擎

1picassoai/coachwhip 是用 Metal 和 Rust 编写的面向 Apple 芯片的 MoE 推理引擎,仓库给出的性能数据未经独立验证。

仓库信息1picassoai/coachwhip ↗

The 80B Qwen3-Coder-Next on a 16 GB Mac, about 13 tok/s, fully offline. A mixture-of-experts inference engine for Apple silicon.

星标
★ 58
复刻
2
语言
Metal
许可证
Apache-2.0
最新版本
v0.5.3
查看原始来源 ↗在 GitHub 查看 ↗

1picassoai/coachwhip 是用 Metal 和 Rust 编写的、专为 Apple 芯片打造的混合专家(MoE)推理引擎。最新版本是 v0.5.3,但现有记录中没有说明该版本有哪些改动。仓库介绍称,它可以在 16GB 的 Mac 上完全离线以约 13 tok/s 运行 80B 的 Qwen3-Coder-Next。

对于能装进内存的模型配置,该引擎会把 40 层共 256 个 expert 全部常驻 GPU,无需从 SSD 流式加载。expert 是承担 MoE 模型部分计算的权重集合。80B 代码模型和 gpt-oss-120b 则走另一条路径,从 SSD 流式加载 expert。它不同于 llama.cpp 或 MLX 系列,自行掌握 Metal 内核和由 Candle 派生的引擎。README 给出的数据是:在 16GB 的 M4 上,Qwen3.6-35B 的生成速度为 38 tok/s,1500 token 提示词的处理速度约为 300 tok/s。

运行要求为 M1 及以上的 Apple 芯片、16GB 内存、macOS 15 及以上,以及 15GB 可用磁盘空间。OpenAI 兼容 API 以及与 Aider 的集成方式也都有文档说明。不过这些性能数据来自仓库自身的基准测试,没有独立验证,因此所列速度仅供参考,本记录中也没有可支撑实际性能的外部验证材料。