Devotd Github
新着LLMインフラ

aien-dev/cudapp — CUDA ツールキット不要の GB10 用マシンコードツール

aien-dev/cudapp は、NVIDIA DGX Spark の GB10 上で CUDA ツールキットなしで GPU 命令を生成・実行するためのツール群です。

リポジトリ情報aien-dev/cudapp ↗

aien-dev/cudapp は、NVIDIA DGX Spark の GB10 上で CUDA ツールキットなしで GPU 命令を生成・実行するためのツール群です。

GitHub の説明: CUDA++ for the NVIDIA DGX Spark (GB10, sm_121): Aien's own GPU machine-code toolchain, runtime and driver client, without the CUDA toolkit. Other NVIDIA GPUs are not supported yet.

スター
★ 9
フォーク
1
言語
C
ライセンス
Apache-2.0
原文を見る ↗GitHub で見る ↗

aien-dev/cudapp は、NVIDIA DGX Spark の GB10(sm_121)上で GPU 命令を直接生成して実行するツール群です。CUDA ツールキットなしで動作する経路を目標に、独自のマシンコードツールチェーン、ランタイム、ドライバクライアントを提供します。最新のリリースバージョンは記載されていません。他の NVIDIA GPU はまだサポートされていません。

要点は、CUDA のユーザ空間コンポーネントの代わりに GPU 命令を扱う経路を実装したことにあります。README ではマシンコードのリバースエンジニアリング、命令エンコーディング、メモリと命令の投入を説明しています。コードには命令エンコーダ、行列積と注意の演算ジェネレータ、実行エンジンが含まれています。つまり、高水準の CUDA コードを置き換えることを主張する比べると、GB10 で命令を作って投入するハードウェア層のアプローチを示すプロジェクトです。C で記述され、ライセンスは Apache-2.0 です。README には実装とライセンス変更を扱う文書もあります。

ただし、この経路は NVIDIA カーネルモジュールと署名済みの GSP ファームウェアに依存します。したがって CUDA ツールキットを取り除いた自立した GPU 駆動方式ではなく、対応範囲も GB10 に限定されます。README の性能測定は自主測定であるため、独立検証の結果として拡大解釈することはできません。ローカル推論に向けたハードウェア層のアプローチを探る技術的な試みではありますが、汎用 NVIDIA GPU の代替ツールとみなす根拠は不足しています。