alrojo/fp4attn 是一个以 CroissAttn 之名处理 FP4 注意力前向与反向计算的仓库。FACTS 中未列出最新的公开发行版本,因此无法确认版本信息。仓库说明除了运算实现之外,还将随机舍入(stochastic rounding)、softmax 梯度之和为 0 的性质以及样本中心化(sampled centering)列为主题。因此该仓库的范围在于同时考察 FP4 注意力运算及其计算中需要考虑的数值问题。
随机舍入是说明中明确指出的舍入方式,零和 softmax 梯度与样本中心化则被列为分析对象。这些主题说明在低精度运算中同时处理前向计算与反向计算时,需要考察哪些数值特性。仓库介绍特别明确说明的是运算方向与分析项目。具体的性能数值、对比结果以及详细实现方式并未出现在给定资料中,因此不应将其解读为已验证的成果或特定的运行特性。
在默认分支上,相关 PDF 论文文件确认有一个,而没有用于说明的 README。主语言与许可证在所提供的信息中没有,公开发行版也未列出。星标数为 8。因此,仅凭目前可确认的资料,难以判断代码的使用条件、运行方式以及实际内核的性能。它可以作为低精度推理内核的参考主题来考察,但要进一步断言其实现完成度或实用性还为时过早。