Devotd Github
新发现推理与服务

nvidia/cutlass v4.8.1 — 矩阵乘法模板与 CuTe DSL

整理 nvidia/cutlass 的最新发布版本 v4.8.1:它同时提供用于 CUDA 矩阵乘法的 C++ 组件与基于 Python 的 DSL,以及 README 中介绍的内容。

仓库信息nvidia/cutlass ↗

整理 nvidia/cutlass 的最新发布版本 v4.8.1:它同时提供用于 CUDA 矩阵乘法的 C++ 组件与基于 Python 的 DSL,以及 README 中介绍的内容。

GitHub 项目说明: CUDA Templates and Python DSLs for High-Performance Linear Algebra

星标
★ 10.6K
复刻
2.1K
语言
C++
许可证
NOASSERTION
最新版本
v4.8.1
查看原始来源 ↗在 GitHub 查看 ↗

nvidia/cutlass 发布了最新版本 v4.8.1。这是一个库,同时包含面向 CUDA 矩阵乘法与线性代数运算的可复用 C++ 组件,以及通过 Python 接口运行的 CuTe DSL。其用法是在 GPU 上直接编写矩阵乘法(GEMM)内核时挑选数据类型与分块(tile)配置,因此更像是从现成的骨架中做选择,而不是每次从头编写内核。

核心分为两部分。一是用 C++ 实现的 CUTLASS 组件,它由面向低精度运算和 Tensor Core(GPU 上专用于矩阵运算的计算单元)优化的 GPU 内核组合而成。二是 CuTe DSL,它允许在 Python 接口中编写面向 Tensor Core 的内核,并调整数据类型与分块配置。README 介绍了 CuTe DSL 的扩展功能、可选的编译路径,以及面向 Rubin 的初步支持。该仓库创建于 2017 年 11 月 30 日,已获得 10,639 个 star,主要语言为 C++。

不过,所给出的信息中没有展示 v4.8.1 改动了什么的发布说明,也没有性能数据。评分项中只有 momentum 填为 4.0,其余评分均为空。许可证同样仅标注为 NOASSERTION,使用条件需直接查阅原始仓库才能确认。这是一个自 2017 年起持续维护的 CUDA GEMM 及相关运算库,但在查看发布说明之前,很难判断本次版本究竟改进在哪里。