github.devotd.
新着推論・サービング

zw5/ane-fieldfare — Apple Silicon向け Gemma 4 26B-A4B 推論エンジン

Apple Neural Engineで入力を処理し、GPUで推測デコーディングを行うローカル推論エンジン zw5/ane-fieldfare を紹介する。

リポジトリ情報zw5/ane-fieldfare ↗

Apple Neural Engineで入力を処理し、GPUで推測デコーディングを行うローカル推論エンジン zw5/ane-fieldfare を紹介する。

GitHub の説明: Run Gemma 4 26B-A4B, fast.

スター
★ 1
フォーク
2
言語
Swift
ライセンス
Apache-2.0
原文を見る ↗GitHub で見る ↗

zw5/ane-fieldfare(ANE Fieldfare)は、Apple Silicon上でGemma 4 26B-A4Bを実行するローカル推論エンジンである。Swiftで書かれ、Apache-2.0ライセンスで公開されている。正式リリースはまだなく、モデルを自分の端末で直接動かすことを狙っている。

このリポジトリはアクセラレータを二つ Beatriz..入力処理、つまりプリフィル(prefill)はニューラルネットワーク演算専用のブロックであるApple Neural Engine(ANE)が担当し、モデル演算と推測デコーディング(speculative decoding)はGPUが担当する。推測デコーディングは、次のトークンの候補を複数まとめて先にサンプリングし、まとめて検証する方式である。メモリマップされたモデルファイルを読み込み、OSのファイルキャッシュをエキスパート(expert)ウェイトの保管場所として活用する。リポジトリにはインストーラーとサーバー、Metalカーネル、モデル処理と通信のテストが入っている。

ただし、この分担は安定していない可能性がある。READMEでは、Neural Engine経路が非公開のAppleフレームワークに依存しているため、macOSのアップデートで動作が壊れる可能性があると明かされている。性能の数値も、READMEの測定説明だけでは独立に確認しにくい。スターは1つで、2026年10月20日に作成されたリポジトリであり、成熟したツールというより、試す価値のある候補に近い。