paddlepaddle/halops 是一个面向 NVIDIA Blackwell(SM100) 的 LLM 推理算子库。它是 ERNIE 团队公开的仓库,涵盖 GQA attention、FP8·FP4 GEMM 和 MegaKernel sparse MLA 路径。仓库中未登记最新发行版。语言标记为 Cuda,许可证为 Apache-2.0。
该项目专注于针对 Blackwell GPU 优化模型推理中使用的注意力与矩阵乘法运算。它基于 CUTLASS 和 CuTe,直接利用 tcgen05、TMEM 和 TMA,同时也包含稀疏 MLA 路径。仓库中一并提供了用于算子对比的运行器与基准配置,以及安装和构建指南。因此,它并非只给出单个算子的仓库,而是把多条推理路径和对比用工具集中在了一起。公开说明中以 DeepGEMM 和 FlashInfer 作为对比对象给出了性能数据。
不过,该仓库公开的性能比较并未被单独复现,因此仅凭给出的结果难以确定与其他实现之间的性能差距。可以确认的范围是:面向 Blackwell 的专用运算路径以及用于对比的工具已经公开。在判断实际适用性时,需要在公开比较结果之外另行考察其在目标环境中能否复现。