zevin17/deepinfer-mac は、Apple Silicon 上で MLX を使ってローカルモデルを実行する Python 推論フレームワークです。DeepInfer のスケジューリングコンポーネントを移植したコミュニティポートです。リポジトリの説明では、ローカル推論と API、再現可能なベンチマークを提供するとあります。公開リリースはありません。
コマンドライン、Python インターフェース、互換のチャット API、ブラウザ画面はいずれも同じランナーを使用します。このプロジェクトは、推論をドラフトと検証のスケジュールで調整する DeepInfer の方式を MLX 実行に適用しています。ドラフト受入率は、最初に作成したドラフト回答が検証段階にそのまま受け入れられる割合です。この方式はドラフト受入率と全体コストを併せて確認し、コンテキストの再利用と状態の保存もローカル実行の流れで扱います。ドキュメントは基本経路と適応的経路を区別し、モデルとキャッシュ機能に応じた実行と状態再利用を説明します。ライセンスは Apache-2.0 です。
README には Qwen と SmolLM2 の経路ごとの検証範囲が示されており、確認が必要な組み合わせも残っています。性能記録は特定の端末と実行条件に限定されており、独立した再現性の提示はありません。したがって、再現可能なベンチマークを掲げているとはいえ、公開されている性能数値だけでは端末間の優劣や一般的な性能を判断しにくいかたちです。