Devotd Github
新发现推理与服务

staylamebro/backburner — iPhone 与 Mac 上的 27B 模型分布式推理

staylamebro/backburner 是一个分布式推理工具,可在使用 USB-C 连接的 Apple Silicon Mac 与 iPhone 上本地运行 Qwen3.8-27B。

仓库信息staylamebro/backburner ↗

staylamebro/backburner 是一个分布式推理工具,可在使用 USB-C 连接的 Apple Silicon Mac 与 iPhone 上本地运行 Qwen3.8-27B。

GitHub 项目说明: Your iPhone helps your Mac run a 27B model: faster prompt reading and more context over a USB-C cable

星标
★ 1.1K
复刻
112
语言
Python
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

staylamebro/backburner 是一个分布式推理工具,它通过 USB-C 将 Apple Silicon Mac 与 iPhone 连接起来,在本地运行 Qwen3.8-27B。根据仓库说明,两台设备使用 10 Gb/s 的连接,其目的是加入 iPhone 以提升输入处理速度和上下文长度。目前没有登记的最新发布版本。

工作方式随上下文长度而变化。在 64k 以内时,模型层被拆分,由 Mac 负责第 1~40 层、iPhone 负责第 41~64 层,一次性处理输入 token 的 prefill 也由两台设备分担。超过 64k 后,由 iPhone 计算较早 key 的 attention,以支持更长的上下文。仅走 Mac 的单一路径则包含提速手段,例如其自有 llama.cpp 分支中的 SME2 内核、Metal 融合以及基于 DFlash2 的推理解码。该项目使用 Python 编写,采用 MIT 许可证。

一致性的依据仅限于 README 中报告的有限贪心输出比较。在 256/256 与 32/32 token 条件下确认了输出相同,自动化测试范围也仅限于 5 个安全文件夹。因此,多设备协同的推理路径与上下文扩展方式虽然具体,但仅凭这些资料仍难以判断在不同条件下的准确度或回归安全性。