ixmxamar/sageattention-rdna4 是在 AMD RX 9070·9070 XT(RDNA4,gfx1201)上运行的量化注意力包。它在 SageAttention 2.2 和 PR #368 的 gfx12 移植之上,叠加了自行编写的 HIP 内核。v0.4.0 中量化阶段也改为自行编写,首次使用时不再需要编译。此前版本中最慢可比 1.6 倍的短调用区间,现在也达到了相当的水平。
该仓库以逐 token 缩放对 Q 和 K 进行量化,并用 int8 计算。块级缩放下一个离群值就可能放大整个块的误差,而逐 token 缩放正是减少这类误差产生路径的方式。据 README,在 head_dim 128 的基准下,因果注意力比 PR #368 快 1.5~2.0 倍,非因果注意力快 1.06~1.3 倍。报告称,在存在离群键值的层中,逐 token 缩放的误差比块级缩放最多低 200 倍。
不过适用对象仅限于 RX 9070·9070 XT。在 ComfyUI 渲染中,按百万像素计算的单步时间从 1.029 秒缩短到 0.973 秒,而注意力性能提升反映到整体步骤时间上的幅度为 5~14 百分比。因此,很难把注意力内核本身的改进幅度直接视为整个渲染的改进幅度。