Devotd Github
新发现推理与服务

maharshi-pandya/megacute — CuTe DSL Transformer 巨型内核

maharshi-pandya/megacute 是一个用 Python 定义 Transformer 运算图、并通过基于 CuTe DSL 的持续执行内核进行处理的库。

仓库信息maharshi-pandya/megacute ↗

maharshi-pandya/megacute 是一个用 Python 定义 Transformer 运算图、并通过基于 CuTe DSL 的持续执行内核进行处理的库。

GitHub 项目说明: Megakernels entirely in CuTeDSL

星标
★ 7
复刻
2
语言
Python
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

maharshi-pandya/megacute 是一个使用 CuTe DSL 构建 Transformer 运算图、并将多层运算合并到单个持续执行内核中处理的库。仓库信息中没有正式发布版本。你用 Python 定义图和运算,再由编译器生成执行程序。因此本文不是介绍某个特定版本的变更,而是介绍一个用 Python 描述图、并以基于 CuTe DSL 的内核运行的项目。

megakernel(巨型内核)是把多个运算打包进一个内核中运行的方式。megacute 面向包含注意力、归一化和输出层的 Transformer 图,README 中有 Llama 和 DiT 的示例。README 将 B200 上得到的测量结果与其他推理工具作了比较。项目的重点在于用 Python API 表达整个图,并把多个运算合并进持续执行内核。仓库信息中注明了 Python 和 Apache-2.0 许可证。

不过,比较结果是以 B200 的测量数据给出的,README 说明在长上下文和大批量的情况下,其他工具可能因注意力运算的局限而领先。因此仅凭这份资料无法判断在所有输入规模或各类 GPU 上的优劣。所提供的说明称其面向特定的显卡系列,但并未给出它属于通用推理工具的依据。目前能够确认的只有以 CuTe DSL 为中心的执行路径与示例,以及有限的比较结果,很难断定它是通用推理服务器的替代品。