ben1078/hipfire 是面向 AMD GPU 的 Rust 推理工具 hipfire 的分叉仓库。README 讨论了 Qwen3.8-27B 的 MTP 解码工作,仓库说明中写明在单张 RX 7900 XTX 上记录到约 100 tok/s。同时给出的改动点是 int8 verify GEMV 和 WMMA verify attention。它们分别指向使用整数 8 位矩阵-向量运算的验证,以及使用 WMMA 的注意力验证路径。
基础工具提供模型下载与运行、对话、服务器等功能。README 区分了稳定版与正在试验的下一版本,并说明了图像生成以及多种 GPU 系列的路径。Redline 基于记录的 kernel 图和资源依赖关系重放已验证的路径,在失败条件下回退到普通 HIP 执行。这些说明表明,该项目不仅涉及解码性能,也涵盖执行路径与失败时的行为。
性能数值是该分叉分支的测量结果。README 同样限定了性能表中的数值仅对应特定任务与设备,并非模型之间的排名。因此,约 100 tok/s 不能被解读为官方 hipfire 发行版或当前上游的性能。这个仓库所能确认的范围,是在特定模型与 AMD GPU 上尝试的解码路径,并未提供支撑更广泛性能比较的资料。