github.devotd.
新发现推理与服务

warpfront/hipfire v0.4.2.1 —— 面向 AMD GPU 的 Rust 推理引擎

介绍 warpfront/hipfire 这一 AMD GPU 本地推理引擎的结构,以及 README 中记录的 v0.4.2 性能变更与这些测量的局限。

仓库信息warpfront/hipfire ↗

RDNA-native LLM inference engine in Rust.

星标
★ 690
复刻
87
语言
Rust
许可证
NOASSERTION
最新版本
v0.4.2.1
查看原始来源 ↗在 GitHub 查看 ↗

warpfront/hipfire 是一个在 AMD GPU 上运行 LLM 的 Rust 本地推理引擎。最新版本是 v0.4.2.1,但查不到该版本的变更记录。README 中记录的 v0.4.2 更新内容是:在 2x R9700 上,EP2 预填充性能从 8K 基准的 3,033 tok/s 提升到 3,943 tok/s,16K 基准从 3,754 tok/s 提升到 4,308 tok/s。这是 v0.4.2 的记录,不能视为 v0.4.2.1 的变更。

引擎由 Rust 和 HIP 构成,热路径中没有 Python、PyTorch、CUDA 转换层或第三方推理引擎。ROCm 以动态方式加载。它包含自研的运行时与模型实现、MQ3~MQ6、MQ4R 和 MFP4 量化格式,以及 HIP kernel;还支持利用 DFlash 草稿模型或原生 MTP 头的投机解码,以及多 GPU 专家并行。其核心在于这是为 AMD GPU 本地推理量身打造的自主实现。

不过 README 也说明,这些性能数字来自单 fixture 测量,并不代表通用吞吐量。采样 MTP 还有一个已知问题:每次运行的 token 流都不同,无法复现。Qwen3.8-Flash 的默认权重约为 125GB,仅凭 32GB 显卡并不够。所给出的测量与模型运行条件都绑定在 R9700、Strix Halo 等特定硬件上,因此难以当作通用性能的证明。