ixmxamar/sageattention-rdna4 は AMD RX 9070·9070 XT(RDNA4、gfx1201)で動作する量子化アテンションパッケージである。SageAttention 2.2 と PR #368 の gfx12 ポートの上に、自前実装の HIP カーネルを叠加している。v0.4.0 では量子化段階も自前実装としたため、初回使用時のコンパイルがなくなった。これまで最大 1.6 倍遅かった短い呼び出し区間も、おおむね同等な水準になった。
このリポジトリは Q と K をトークン単位のスケールで量子化し、int8 で計算する。ブロック単位のスケールでは外れ値一つがブロック全体の誤差を増大させるが、トークン単位のスケーリングはそうした誤差が生じやすい経路を減らす方式である。README によれば、head_dim 128 を基準に、因果アテンションは PR #368 比 1.5~2.0 倍、非因果アテンションは 1.06~1.3 倍速い。外れ値のあるキーを持つ層では、トークン単位スケーリングの誤差はブロック単位スケーリングより最大 200 倍低かったとする。
ただし適用対象は RX 9070·9070 XT に限定される。ComfyUI のレンダリングでは、100 万画素基準のステップ時間が 1.029 秒から 0.973 秒に縮まり、アテンション性能の改善がステップ全体の時間に反映された幅は 5~14 パーセントにとどまる。そのため、アテンションカーネル自体の改善幅をそのままレンダリング全体の改善として受け取ることはできない。