Devotd Github
新发现推理与服务

ben1078/hipfire — 面向 RX 7900 XTX 的 MTP 解码分叉

ben1078/hipfire 是面向 AMD GPU 的 hipfire 分叉,介绍了 Qwen3.8-27B 的 MTP 解码路径以及该分支的测量结果。

仓库信息ben1078/hipfire ↗

ben1078/hipfire 是面向 AMD GPU 的 hipfire 分叉,介绍了 Qwen3.8-27B 的 MTP 解码路径以及该分支的测量结果。

GitHub 项目说明: hipfire fork: Qwen3.8-27B MTP decode at ~100 tok/s on one RX 7900 XTX (int8 verify GEMV, WMMA verify attention)

星标
★ 8
复刻
0
许可证
NOASSERTION
查看原始来源 ↗在 GitHub 查看 ↗

ben1078/hipfire 是面向 AMD GPU 的 Rust 推理工具 hipfire 的分叉仓库。README 讨论了 Qwen3.8-27B 的 MTP 解码工作,仓库说明中写明在单张 RX 7900 XTX 上记录到约 100 tok/s。同时给出的改动点是 int8 verify GEMV 和 WMMA verify attention。它们分别指向使用整数 8 位矩阵-向量运算的验证,以及使用 WMMA 的注意力验证路径。

基础工具提供模型下载与运行、对话、服务器等功能。README 区分了稳定版与正在试验的下一版本,并说明了图像生成以及多种 GPU 系列的路径。Redline 基于记录的 kernel 图和资源依赖关系重放已验证的路径,在失败条件下回退到普通 HIP 执行。这些说明表明,该项目不仅涉及解码性能,也涵盖执行路径与失败时的行为。

性能数值是该分叉分支的测量结果。README 同样限定了性能表中的数值仅对应特定任务与设备,并非模型之间的排名。因此,约 100 tok/s 不能被解读为官方 hipfire 发行版或当前上游的性能。这个仓库所能确认的范围,是在特定模型与 AMD GPU 上尝试的解码路径,并未提供支撑更广泛性能比较的资料。