Devotd Github
新发现大语言模型基础设施

aien-dev/cudapp — 免 CUDA 工具链的 GB10 机器码工具

aien-dev/cudapp 是一组工具,无需 CUDA 工具链即可在 NVIDIA DGX Spark 的 GB10 上生成并执行 GPU 指令。

仓库信息aien-dev/cudapp ↗

aien-dev/cudapp 是一组工具,无需 CUDA 工具链即可在 NVIDIA DGX Spark 的 GB10 上生成并执行 GPU 指令。

GitHub 项目说明: CUDA++ for the NVIDIA DGX Spark (GB10, sm_121): Aien's own GPU machine-code toolchain, runtime and driver client, without the CUDA toolkit. Other NVIDIA GPUs are not supported yet.

星标
★ 9
复刻
1
语言
C
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

aien-dev/cudapp 是一组工具,可直接在 NVIDIA DGX Spark 的 GB10(sm_121)上生成并执行 GPU 指令。它以无需 CUDA 工具链即可运行为目标,提供自有的机器码工具链、运行时和驱动客户端。最新发布版本未给出。暂不支持其他 NVIDIA GPU。

核心在于实现了一条以 GPU 指令为对象、而不是走 CUDA 用户态组件的路径。README 介绍了机器码逆向工程、指令编码、内存以及指令提交。代码中包含指令编码器、矩阵乘法与注意力运算生成器,以及执行引擎。换句话说,它并非以取代高层 CUDA 代码为目标,而是展示了一种在 GB10 上创建并提交指令的硬件层面路径的项目。项目使用 C 编写,采用 Apache-2.0 许可证。README 中还包含关于实现细节和许可证变更的文档。

不过,这条路径依赖 NVIDIA 内核模块和已签名的 GSP 固件。因此它并不是一种去掉 CUDA 工具链后仍可独立驱动 GPU 的方式,支持范围也仅限于 GB10。README 中的性能测量为项目自测结果,不能扩大解读为独立验证的结论。它是一次为本地推理探查硬件层面路径的技术尝试,但尚不足以视为面向通用 NVIDIA GPU 的替代工具。