github.devotd.
新发现推理与服务

pytorch/fbgemm — 用于深度学习的低精度计算内核

梳理 pytorch/fbgemm 三个包所涉及的深度学习运算,以及在所提供资料中无法确认的部分。

仓库信息pytorch/fbgemm ↗

梳理 pytorch/fbgemm 三个包所涉及的深度学习运算,以及在所提供资料中无法确认的部分。

GitHub 项目说明: FB (Facebook) + GEMM (General Matrix-Matrix Multiplication) - https://code.fb.com/ml-applications/fbgemm/

星标
★ 1.6K
复刻
801
语言
C++
许可证
NOASSERTION
最新版本
v1.8.0
查看原始来源 ↗在 GitHub 查看 ↗

pytorch/fbgemm 是一个为深度学习应用提供优化内核的仓库。最新版本为 v1.8.0,但所提供的资料中没有列出该版本的改动内容。该仓库的主要语言是 C++。FBGEMM 面向服务端推理,处理低精度矩阵乘法与卷积,量化 GEMM 和融合运算也在其范围内。

该仓库由 FBGEMM、FBGEMM_GPU 和 FBGEMM_GPU GenAI 三个包组成。FBGEMM 是面向服务端推理的矩阵乘法与卷积库。FBGEMM_GPU 是面向推荐系统训练与推理的 PyTorch GPU 算子库,FBGEMM_GPU GenAI 则是面向生成式 AI 应用的 PyTorch GPU 算子库。低精度运算指的是降低表示所用精度的计算。GenAI 的示例包括 FP8 按行量化和集合通信。因此该仓库的范围并不局限于单一的推理路径,而是同时涵盖服务端矩阵运算以及面向推荐系统和生成式 AI 的 GPU 算子。

不过,仅凭所提供的资料无法确认 v1.8.0 的变更内容或各项运算的性能数据。许可证一项为 NOASSERTION,也无法确认具体的许可证名称。各包的范围是清楚的,但若要判断性能或使用条件,还需要单独确认相关信息。