github.devotd.
新发现推理与服务

ixmxamar/sageattention-rdna4 v0.4.0 — 面向 RDNA4 的量化注意力内核

面向 AMD RX 9070·9070 XT 的 HIP 注意力内核仓库,v0.4.0 连量化阶段也自行编写,首次使用时不再需要编译。

仓库信息ixmxamar/sageattention-rdna4 ↗

Quantized attention for AMD RX 9070 / 9070 XT (RDNA4, gfx1201): a hand-written HIP attention kernel behind SageAttention, serving the fused q/k/v views video models send, at 0.87-0.94x PR #368's time over production sizes.

星标
★ 13
复刻
1
语言
Python
许可证
Apache-2.0
最新版本
v0.4.0
查看原始来源 ↗在 GitHub 查看 ↗

ixmxamar/sageattention-rdna4 是在 AMD RX 9070·9070 XT(RDNA4,gfx1201)上运行的量化注意力包。它在 SageAttention 2.2 和 PR #368 的 gfx12 移植之上,叠加了自行编写的 HIP 内核。v0.4.0 中量化阶段也改为自行编写,首次使用时不再需要编译。此前版本中最慢可比 1.6 倍的短调用区间,现在也达到了相当的水平。

该仓库以逐 token 缩放对 Q 和 K 进行量化,并用 int8 计算。块级缩放下一个离群值就可能放大整个块的误差,而逐 token 缩放正是减少这类误差产生路径的方式。据 README,在 head_dim 128 的基准下,因果注意力比 PR #368 快 1.5~2.0 倍,非因果注意力快 1.06~1.3 倍。报告称,在存在离群键值的层中,逐 token 缩放的误差比块级缩放最多低 200 倍。

不过适用对象仅限于 RX 9070·9070 XT。在 ComfyUI 渲染中,按百万像素计算的单步时间从 1.029 秒缩短到 0.973 秒,而注意力性能提升反映到整体步骤时间上的幅度为 5~14 百分比。因此,很难把注意力内核本身的改进幅度直接视为整个渲染的改进幅度。