mikealanni/gufo 是一个在 AMD Strix Halo(gfx1151) 上同时使用 GPU 与 XDNA2 NPU 的本地推理引擎。它将一部分提示词处理拆分到两个设备上,并支持推测解码(speculative decoding),即预先生成下一个 token 再进行校验。仓库说明中列出了 Qwen3.6-35B-A3B、Qwen3.8-27B 和 Qwen3.8 Flash-Next。项目使用 C++ 编写,采用 MIT 许可证。
该项目的特点是试图结合图形处理器与 NPU 来加速提示词处理与 token 生成。README 摘要说明,基于 NPU 的预填充加速是可选功能,并提供 MTP、DFlash2 以及自动选择三种方式的推测解码。项目记录的结果显示,NPU 预填充的速度提升幅度为 9% 到 28%,结构化文本上的推测解码速度最高可达 159 tok/s。此外还介绍了对 Laguna S 2.1(118B MoE) 的支持、预填充从 1,145 提升到 1,277 tok/s,以及使用 DFlash drafter 时 44~45 tok/s。各模型的执行路径、对质量的影响以及测量方法也都做了文档说明。
这些数字应限定在已明确说明的条件下来解读,例如 AMD Strix Halo 环境与结构化文本;现有资料没有依据表明在其他硬件或任务上也能得到同样的速度。也没有登记在册的最新发布信息。因此,这条记录展示的是该设备上的实现与测量结果,但其范围过窄,不足以推广为通用的性能比较。