pytorch/fbgemm 是一个为深度学习应用提供优化内核的仓库。最新版本为 v1.8.0,但所提供的资料中没有列出该版本的改动内容。该仓库的主要语言是 C++。FBGEMM 面向服务端推理,处理低精度矩阵乘法与卷积,量化 GEMM 和融合运算也在其范围内。
该仓库由 FBGEMM、FBGEMM_GPU 和 FBGEMM_GPU GenAI 三个包组成。FBGEMM 是面向服务端推理的矩阵乘法与卷积库。FBGEMM_GPU 是面向推荐系统训练与推理的 PyTorch GPU 算子库,FBGEMM_GPU GenAI 则是面向生成式 AI 应用的 PyTorch GPU 算子库。低精度运算指的是降低表示所用精度的计算。GenAI 的示例包括 FP8 按行量化和集合通信。因此该仓库的范围并不局限于单一的推理路径,而是同时涵盖服务端矩阵运算以及面向推荐系统和生成式 AI 的 GPU 算子。
不过,仅凭所提供的资料无法确认 v1.8.0 的变更内容或各项运算的性能数据。许可证一项为 NOASSERTION,也无法确认具体的许可证名称。各包的范围是清楚的,但若要判断性能或使用条件,还需要单独确认相关信息。