github.devotd.
新发现推理与服务

deepseek-ai/deepgemm v2.1.1.post3 — GPU 张量核心内核库

deepseek-ai/deepgemm v2.1.1.post3 是一个 CUDA 内核库的最新版本,可在 NVIDIA GPU 上于运行时编译并执行 FP8、FP4、BF16 矩阵乘法与 MoE 运算。

仓库信息deepseek-ai/deepgemm ↗

deepseek-ai/deepgemm v2.1.1.post3 是一个 CUDA 内核库的最新版本,可在 NVIDIA GPU 上于运行时编译并执行 FP8、FP4、BF16 矩阵乘法与 MoE 运算。

GitHub 项目说明: DeepGEMM: clean and efficient BLAS kernel library on GPU

星标
★ 9.1K
复刻
1.4K
语言
Cuda
许可证
MIT
最新版本
v2.1.1.post3
查看原始来源 ↗在 GitHub 查看 ↗

deepseek-ai/deepgemm 的最新版本是 v2.1.1.post3。这是面向 NVIDIA GPU 的 BLAS 内核库,用于加速矩阵乘法(GEMM)和混合专家(Mixture of Experts,MoE)运算。其核心运算是 FP8、FP4、BF16 矩阵乘法与 MoE,内核在运行时编译,并针对目标 GPU 加以优化。

README 将该仓库描述为一个集成的高性能张量核心(tensor core)内核库。范围不止 FP8、FP4、BF16 GEMM,还包括将通信与计算重叠执行的 fused MoE——Mega MoE、lightning indexer 所用的 MQA scoring,以及 HyperConnection,全部收纳在同一个 CUDA 代码库中。所有内核都通过 DeepJIT 在运行时编译,因此安装过程中无需进行 CUDA 编译。许可证为 MIT,主要语言为 Cuda,记录的星标数为 9050。

不过,v2.1.1.post3 的变更内容并未包含在所提供的资料中。本次版本新增或修改了什么,需要直接查看仓库的发布说明才能确认。性能基准数据与验证环境同样没有提供,因此在哪种 GPU 和多大模型下能有多快,目前尚难判断。研究记录只给出了 6.3 的动量分数,并未计算新颖性、技术与质量分数。以未经验证的性能数据为前提来做出采用判断并不容易。