davidtai/turboexl3 は、EXL3 量子化重みを Apple GPU 上で直接処理する Zig ベースの Metal kernel ライブラリです。MLX が Metal kernel を実行し、単独のリリースバージョンは公開されていません。リポジトリの説明によると、trellis code で圧縮された重みを kernel 内部で復元します。
この設計では、混合エキスパート層(MoE)のルーティングエキスパートを分割された行列-ベクトル演算パスで処理し、アテンション、ゲート付き delta net、共有エキスパート、出力層は行列乗算パスで処理します。重みは別のコピーにまず展開するのではなく、そのまま計算に接続する方式です。リポジトリにはホスト参照実装と比較するテストがあり、差し替えられた kernel はバイト単位の一致を基準とし、和の順序が異なる kernel には許容誤差が置かれています。性能とコーディングの評価文書も含まれています。mlx-serve の外部量子化プラグインとして動作し、Apple Silicon のローカル推論経路につながるプロジェクトです。
ただし公開されている最新リリースはなく、ライセンス情報も NOASSERTION と表示されており、確定できません。評価文書が存在するだけでは、実際の性能や他の推論スタックに対する優位性は判断できません。現在確認できる強みは EXL3 の重み処理パスと kernel 検証の設計であり、性能上の優位性には別の根拠が必要です。