Devotd Github
新发现推理与服务

franzmoca/gufo — 面向 Strix Halo 的本地推理引擎

franzmoca/gufo 是一个 C++ 分支,为在 Strix Halo 上运行 Gemma 4 增加了专用计算内核与多 token 预测。

仓库信息franzmoca/gufo ↗

franzmoca/gufo 是一个 C++ 分支,为在 Strix Halo 上运行 Gemma 4 增加了专用计算内核与多 token 预测。

GitHub 项目说明: Strix Halo inference engine. Qwen Flash Next Q4_K_XL: 1,628.52pp, 59.41tg single user, 157.22 tok/s 8 users; Qwen27B Q4_K_XL: 656.33pp, 70.56tg tok/s single user with DFlash2

星标
★ 9
复刻
1
语言
C++
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

franzmoca/gufo 是一个在 Linux 的 Strix Halo 硬件上运行本地模型的推理引擎。该仓库是基于 Gufo 扩展而来的分支,用于运行 Gemma 4,并加入了 Gemma 4 专用的计算内核与多 token 预测。仓库说明中还提到支持图像输入与工具调用。FACTS 中未给出公开的发布版本。

该项目的核心不是通用推理引擎,而是针对 Strix Halo 定制的模型执行路径。多 token 预测是一次预测多个后续 token 的功能,仓库说明称将其用于提升吞吐量。各模型文档中链接了性能测量与质量报告。仓库记录的数值显示,Qwen Flash Next Q4_K_XL 在 8 用户使用下的吞吐量为 157.22 tok/s,而 Qwen27B Q4_K_XL 在使用 DFlash2 的单用户条件下为 70.56 tok/s。主要语言为 C++,许可证为 MIT。

这些数值是针对特定模型与 Strix Halo 环境的记录,不能推广为其他硬件或模型的性能。支持的平台也仅限于 Linux 上的 Strix Halo。仓库表示会定期合并上游仓库,因此在评估这个分支时,需要同时考虑相应的硬件限制以及它与上游仓库的关系。