Devotd Github
新发现大语言模型基础设施

paddlepaddle/halops — 面向 Blackwell SM100 的 LLM 算子

paddlepaddle/halops 是一个面向 NVIDIA Blackwell SM100 的库,为 LLM 推理提供注意力与矩阵乘法运算路径。

仓库信息paddlepaddle/halops ↗

paddlepaddle/halops 是一个面向 NVIDIA Blackwell SM100 的库,为 LLM 推理提供注意力与矩阵乘法运算路径。

GitHub 项目说明: High-performance Accelerated LLM Operators

星标
★ 23
复刻
8
语言
Cuda
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

paddlepaddle/halops 是一个面向 NVIDIA Blackwell(SM100) 的 LLM 推理算子库。它是 ERNIE 团队公开的仓库,涵盖 GQA attention、FP8·FP4 GEMM 和 MegaKernel sparse MLA 路径。仓库中未登记最新发行版。语言标记为 Cuda,许可证为 Apache-2.0。

该项目专注于针对 Blackwell GPU 优化模型推理中使用的注意力与矩阵乘法运算。它基于 CUTLASS 和 CuTe,直接利用 tcgen05、TMEM 和 TMA,同时也包含稀疏 MLA 路径。仓库中一并提供了用于算子对比的运行器与基准配置,以及安装和构建指南。因此,它并非只给出单个算子的仓库,而是把多条推理路径和对比用工具集中在了一起。公开说明中以 DeepGEMM 和 FlashInfer 作为对比对象给出了性能数据。

不过,该仓库公开的性能比较并未被单独复现,因此仅凭给出的结果难以确定与其他实现之间的性能差距。可以确认的范围是:面向 Blackwell 的专用运算路径以及用于对比的工具已经公开。在判断实际适用性时,需要在公开比较结果之外另行考察其在目标环境中能否复现。