github.devotd.
새 소식추론/서빙

ixmxamar/sageattention-rdna4 v0.4.0 — RDNA4용 양자화 어텐션 커널

AMD RX 9070·9070 XT용 HIP 어텐션 커널 저장소로, v0.4.0에서 양자화 단계도 직접 작성해 첫 사용 시 컴파일을 없앴다.

저장소 정보ixmxamar/sageattention-rdna4 ↗

Quantized attention for AMD RX 9070 / 9070 XT (RDNA4, gfx1201): a hand-written HIP attention kernel behind SageAttention, serving the fused q/k/v views video models send, at 0.87-0.94x PR #368's time over production sizes.

스타
★ 13
포크
1
언어
Python
라이선스
Apache-2.0
최신 릴리스
v0.4.0
원문 보기 ↗GitHub에서 보기 ↗

ixmxamar/sageattention-rdna4는 AMD RX 9070·9070 XT(RDNA4, gfx1201)에서 동작하는 양자화 어텐션 패키지다. SageAttention 2.2와 PR #368의 gfx12 포트 위에 직접 작성한 HIP 커널을 얹었다. v0.4.0에서는 양자화 단계도 직접 작성해 첫 사용 시 컴파일이 사라졌다. 이전 버전까지 최대 1.6배 느리던 짧은 호출 구간도 대등한 수준이 됐다.

이 저장소는 Q와 K를 토큰별 배율로 양자화해 int8로 계산한다. 블록 단위 배율에서는 이상치 하나가 블록 전체 오차를 키울 수 있지만, 토큰별 스케일링은 이런 오차가 생기는 경로를 줄이는 방식이다. README에 따르면 head_dim 128 기준 PR #368보다 인과 어텐션은 1.5~2.0배, 비인과 어텐션은 1.06~1.3배 빠르다. 어긋난 키가 있는 층에서는 토큰별 스케일링의 오차가 블록 단위 스케일링보다 최대 200배 낮았다고 보고한다.

다만 적용 대상은 RX 9070·9070 XT로 한정된다. ComfyUI 렌더링에서는 백만 화소 기준 단계당 시간이 1.029초에서 0.973초로 줄었고, 어텐션 성능 향상이 전체 단계 시간에 반영된 폭은 5~14퍼센트다. 따라서 어텐션 커널 자체의 개선 폭을 실제 렌더링 전체의 개선으로 받아들이기는 어렵다.