alrojo/fp4attn

alrojo/fp4attn은 FP4 어텐션의 순방향과 역방향, 그리고 관련 수치 분석을 다룬 저장소다.

GitHub 설명: CroissAttn: FP4 attention forward and backward, with analysis of stochastic rounding, zero-sum softmax gradients, and sampled centering.

스타

★ 8

포크

0

언어

—

라이선스

—