github.devotd.
新着推論・サービング

1picassoai/coachwhip v0.5.3 — Apple Silicon向けMoE推論エンジン

1picassoai/coachwhipはMetalとRustで書かれたApple Silicon向けMoE推論エンジンで、リポジトリが示す性能数値は独立検証されていない。

リポジトリ情報1picassoai/coachwhip ↗

The 80B Qwen3-Coder-Next on a 16 GB Mac, about 13 tok/s, fully offline. A mixture-of-experts inference engine for Apple silicon.

スター
★ 58
フォーク
2
言語
Metal
ライセンス
Apache-2.0
最新リリース
v0.5.3
原文を見る ↗GitHub で見る ↗

1picassoai/coachwhipはMetalとRustで書かれたApple Silicon専用の混合エキスパート(MoE)推論エンジンである。最新リリースはv0.5.3だが、提供された記録にはこのバージョンでの変更内容が記載されていない。リポジトリの説明では、16GBのMac上で80BのQwen3-Coder-Nextを完全オフラインで約13 tok/sで実行するとされている。

メモリに収まるモデル構成では、このエンジンは40層分のexpert 256個をすべてGPUに常駐させ、SSDからのストリーミングなしで動作する。expertはMoEモデルの一部の計算を受け持つ重みのまとまりである。80Bのコーダモデルとgpt-oss-120bについては、expertをSSDからストリーミングする別のパスを用意している。llama.cppやMLX系とは異なり、MetalカーネルとCandle派生エンジンを直接自有する設計になっている。READMEには、16GBのM4でQwen3.6-35Bの生成速度38 tok/sと、1500トークンのプロンプト処理速度約300 tok/sが示されている。

必要条件はM1以降のApple Silicon、16GBのメモリ、macOS 15以降、15GB以上の空きディスクスペースである。OpenAI互換APIやAiderとの連携方法も文書化されている。ただし性能数値はリポジトリ自身のベンチマークによるもので独立検証はない。したがって提示された速度は参考値にとどまり、実際の性能を裏付ける外部の検証資料は提供された記録に存在しない。