zw5/ane-fieldfare(ANE Fieldfare)是一个可在 Apple Silicon 上运行 Gemma 4 26B-A4B 的本地推理引擎。它使用 Swift 编写,并以 Apache-2.0 许可证开源。目前还没有正式发布,其目标是让用户在自己的设备上直接运行模型。
该仓库把加速器分成两部分使用。输入处理,也就是预填充(prefill),由专为神经网络运算设计的 Apple Neural Engine(ANE)负责,模型运算和推测解码(speculative decoding)则由 GPU 负责。推测解码是指先采样出多个下一词元的候选,再一次性进行验证的方式。它读取内存映射的模型文件,并把操作系统的文件缓存用作专家(expert)权重的存储空间。仓库中包含安装程序和服务器、Metal 内核,以及模型处理与通信方面的测试。
不过,这种分工可能并不稳定。README 说明 Neural Engine 路径依赖非公开的 Apple 框架,因此 macOS 更新可能会使其失效。性能数据也难以仅凭 README 中的测量说明进行独立验证。该仓库只有 1 个 star,创建于 2026 年 10 月 20 日,与其说是已经成熟的工具,不如说更接近一个值得试用的候选。