Devotd Github
新着推論・サービング

alrojo/fp4attn — FP4 アテンション順方向・逆方向の解析

alrojo/fp4attn は FP4 アテンションの順方向と逆方向、および関連する数値解析を扱うリポジトリである。

リポジトリ情報alrojo/fp4attn ↗

alrojo/fp4attn は FP4 アテンションの順方向と逆方向、および関連する数値解析を扱うリポジトリである。

GitHub の説明: CroissAttn: FP4 attention forward and backward, with analysis of stochastic rounding, zero-sum softmax gradients, and sampled centering.

スター
★ 8
フォーク
0
原文を見る ↗GitHub で見る ↗

alrojo/fp4attn は CroissAttn という名前で FP4 アテンションの順方向と逆方向を扱うリポジトリである。公開されている最新リリース版は FACTS に示されておらず、バージョン情報は確認できない。リポジトリの説明は演算の実装だけでなく、確率的丸め(stochastic rounding)、ソフトマックス勾配の総和が 0 になる性質、サンプル中心化(sampled centering)もテーマとして挙げている。したがって、このリポジトリの範囲は FP4 アテンション演算と、その計算で考慮すべき数値問題を併せて見ることににある。

確率的丸めは説明に明記された丸め方式であり、総和ゼロのソフトマックス勾配とサンプル中心化は解析対象として提示されている。これらは低精度演算において順方向の計算と逆方向の計算を併せて扱うとき、どのような数値的性質を調べる必要があるかを示している。リポジトリの紹介が特に明確にしているのは演算方向と解析項目である。具体的な性能数値や比較結果、詳細な実装方式は与えられた資料には現れないため、これを確認済みの成果や特定の実行特性として解釈してはならない。

デフォルトブランチでは、説明用の README の代わりに、関連する PDF 論文ファイルが 1 件確認される。プライマリ言語とライセンスは提供された情報には記載がなく、公開リリースも提示されていない。スターは 8 個である。したがって、現時点で確認できる資料のみでは、コードの使用条件や実行方法、実際のカーネルの性能を判断するのは困難である。低精度推論カーネルのための参考テーマとして見することはできるが、それ以上の実装の完成度や実用性を断定するには早い。