franzmoca/gufo 是一个在 Linux 的 Strix Halo 硬件上运行本地模型的推理引擎。该仓库是基于 Gufo 扩展而来的分支,用于运行 Gemma 4,并加入了 Gemma 4 专用的计算内核与多 token 预测。仓库说明中还提到支持图像输入与工具调用。FACTS 中未给出公开的发布版本。
该项目的核心不是通用推理引擎,而是针对 Strix Halo 定制的模型执行路径。多 token 预测是一次预测多个后续 token 的功能,仓库说明称将其用于提升吞吐量。各模型文档中链接了性能测量与质量报告。仓库记录的数值显示,Qwen Flash Next Q4_K_XL 在 8 用户使用下的吞吐量为 157.22 tok/s,而 Qwen27B Q4_K_XL 在使用 DFlash2 的单用户条件下为 70.56 tok/s。主要语言为 C++,许可证为 MIT。
这些数值是针对特定模型与 Strix Halo 环境的记录,不能推广为其他硬件或模型的性能。支持的平台也仅限于 Linux 上的 Strix Halo。仓库表示会定期合并上游仓库,因此在评估这个分支时,需要同时考虑相应的硬件限制以及它与上游仓库的关系。