alrojo/fp4attn

alrojo/fp4attn は FP4 アテンションの順方向と逆方向、および関連する数値解析を扱うリポジトリである。

GitHub の説明: CroissAttn: FP4 attention forward and backward, with analysis of stochastic rounding, zero-sum softmax gradients, and sampled centering.

スター

★ 8

フォーク

0

言語

—

ライセンス

—