Devotd Github
新发现推理与服务

mikealanni/gufo — 面向 AMD Strix Halo 的 GPU·NPU 推理引擎

mikealanni/gufo 是一个在 AMD Strix Halo 上同时利用 GPU 与 XDNA2 NPU 的本地推理引擎。

仓库信息mikealanni/gufo ↗

mikealanni/gufo 是一个在 AMD Strix Halo 上同时利用 GPU 与 XDNA2 NPU 的本地推理引擎。

GitHub 项目说明: GPU + XDNA2 NPU inference for AMD Strix Halo (gfx1151): Qwen3.6-35B-A3B, Qwen3.8-27B and Qwen3.8 Flash-Next. NPU prefill +9% to +28%, MTP / DFlash2 / auto speculative decoding up to 159 tok/s on structured text.

星标
★ 67
复刻
7
语言
C++
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

mikealanni/gufo 是一个在 AMD Strix Halo(gfx1151) 上同时使用 GPU 与 XDNA2 NPU 的本地推理引擎。它将一部分提示词处理拆分到两个设备上,并支持推测解码(speculative decoding),即预先生成下一个 token 再进行校验。仓库说明中列出了 Qwen3.6-35B-A3B、Qwen3.8-27B 和 Qwen3.8 Flash-Next。项目使用 C++ 编写,采用 MIT 许可证。

该项目的特点是试图结合图形处理器与 NPU 来加速提示词处理与 token 生成。README 摘要说明,基于 NPU 的预填充加速是可选功能,并提供 MTP、DFlash2 以及自动选择三种方式的推测解码。项目记录的结果显示,NPU 预填充的速度提升幅度为 9% 到 28%,结构化文本上的推测解码速度最高可达 159 tok/s。此外还介绍了对 Laguna S 2.1(118B MoE) 的支持、预填充从 1,145 提升到 1,277 tok/s,以及使用 DFlash drafter 时 44~45 tok/s。各模型的执行路径、对质量的影响以及测量方法也都做了文档说明。

这些数字应限定在已明确说明的条件下来解读,例如 AMD Strix Halo 环境与结构化文本;现有资料没有依据表明在其他硬件或任务上也能得到同样的速度。也没有登记在册的最新发布信息。因此,这条记录展示的是该设备上的实现与测量结果,但其范围过窄,不足以推广为通用的性能比较。