Devotd Github
新着推論・サービング

youssofal/mtplx v2.12.2 — Apple Silicon向けローカル推論ツール

youssofal/mtplx は Apple Silicon で MTP 推測デコードを使ってローカルモデルを実行するツールで、最新リリースは v2.12.2 です。

リポジトリ情報youssofal/mtplx ↗

youssofal/mtplx は Apple Silicon で MTP 推測デコードを使ってローカルモデルを実行するツールで、最新リリースは v2.12.2 です。

GitHub の説明: The fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.

スター
★ 2.6K
フォーク
206
言語
Python
ライセンス
Apache-2.0
最新リリース
v2.12.2
原文を見る ↗GitHub で見る ↗

youssofal/mtplx は Apple Silicon でローカルモデルを実行する Python アプリ兼コマンドラインツールです。最新リリースは v2.12.2 です。提供された記録には、このバージョンで何が追加・変更されたのかが示されていません。このツールはモデルに組み込まれた複数トークン予測(MTP)ヘッドを使って推測デコードを行います。対象は Qwen 3.8 Flash Next、Qwen 3.8 27B、Ternary Bonsai 2 27B です。

推測デコードは、モデルが先に生成した下書きトークンをまとめて検証することで生成を高速化する方法です。README は下書き検証に残差補正を伴う棄却サンプリングを使い、どの温度でも出力が正確であると説明しています。リポジトリの説明では、M5 Max で OpenCode を使用する際に 125 tok/s を示し、メモリ 16 GB の Mac で 27B モデルを実行できるとしています。数値には測定条件と記録リンクが公開されています。OpenAI および Anthropic 互換のローカルサーバーも提供され、ライセンスは Apache-2.0 です。

性能数値はリポジトリが提示した特定の環境での結果であり、他のハードウェアや利用方法にそのまま適用できる根拠はありません。README は画像リクエストの等価性検証はまだ繰り返し行っていないとも述べています。macOS 14 以降が必要です。したがって、公開されている性能の主張は一般的な比較結果ではなくその条件での記録として読むべきであり、画像リクエストの精度はさらに確認が必要です。