alrojo/fp4attn

alrojo/fp4attn 是一个涵盖 FP4 注意力前向与反向计算以及相关数值分析的仓库。

GitHub 项目说明: CroissAttn: FP4 attention forward and backward, with analysis of stochastic rounding, zero-sum softmax gradients, and sampled centering.

星标

★ 8

复刻

0

语言

—

许可证

—