youssofal/mtplx は Apple Silicon でローカルモデルを実行する Python アプリ兼コマンドラインツールです。最新リリースは v2.12.2 です。提供された記録には、このバージョンで何が追加・変更されたのかが示されていません。このツールはモデルに組み込まれた複数トークン予測(MTP)ヘッドを使って推測デコードを行います。対象は Qwen 3.8 Flash Next、Qwen 3.8 27B、Ternary Bonsai 2 27B です。
推測デコードは、モデルが先に生成した下書きトークンをまとめて検証することで生成を高速化する方法です。README は下書き検証に残差補正を伴う棄却サンプリングを使い、どの温度でも出力が正確であると説明しています。リポジトリの説明では、M5 Max で OpenCode を使用する際に 125 tok/s を示し、メモリ 16 GB の Mac で 27B モデルを実行できるとしています。数値には測定条件と記録リンクが公開されています。OpenAI および Anthropic 互換のローカルサーバーも提供され、ライセンスは Apache-2.0 です。
性能数値はリポジトリが提示した特定の環境での結果であり、他のハードウェアや利用方法にそのまま適用できる根拠はありません。README は画像リクエストの等価性検証はまだ繰り返し行っていないとも述べています。macOS 14 以降が必要です。したがって、公開されている性能の主張は一般的な比較結果ではなくその条件での記録として読むべきであり、画像リクエストの精度はさらに確認が必要です。