Devotd Github
新着推論・サービング

nvidia/cutlass v4.8.1 — 行列乗算テンプレートと CuTe DSL

CUDA 行列乗算向けの C++ コンポーネントと Python DSL を同梱する nvidia/cutlass の最新リリース v4.8.1 と、README で紹介されている内容を整理する。

リポジトリ情報nvidia/cutlass ↗

CUDA 行列乗算向けの C++ コンポーネントと Python DSL を同梱する nvidia/cutlass の最新リリース v4.8.1 と、README で紹介されている内容を整理する。

GitHub の説明: CUDA Templates and Python DSLs for High-Performance Linear Algebra

スター
★ 10.6K
フォーク
2.1K
言語
C++
ライセンス
NOASSERTION
最新リリース
v4.8.1
原文を見る ↗GitHub で見る ↗

nvidia/cutlass が最新リリース v4.8.1 を公開した。CUDA ベースの行列乗算と線形代数演算のための再利用可能な C++ コンポーネントと、Python インターフェースで動作する CuTe DSL を同時に含むライブラリだ。GPU 上で行列乗算(GEMM)カーネルを自分で書きつつデータ型とタイル構成を選び合わせる方式なので、毎回ゼロからカーネルを書くのではなく、用意された骨組みから選ぶ側に近い。

中心は二つある。一つは C++ の CUTLASS コンポーネントで、低精度演算と Tensor Core(GPU 上で行列演算専用に使われる演算部)に特化した GPU カーネルを組み合わせて作られている。もう一つは CuTe DSL だ。Python インターフェースから Tensor Core 向けカーネルを書き、データ型とタイル構成を調整できる。README ではこの CuTe DSL の拡張機能、選択可能なコンパイルパス、Rubin を対象とした初期サポートが紹介されている。2017 年 11 月 30 日に作られたリポジトリはスター 10,639 個を集め、主言語は C++ だ。

ただし、v4.8.1 で何が変更されたかを示すリリース項目も性能の数値も示されていない。スコア項目は momentum 4.0 だけが埋まっており、残りの評価は空欄だ。ライセンスも NOASSERTION としか記載されておらず、利用条件は元のリポジトリを直接確認する必要がある。2017 年から続く CUDA GEMM と関連演算のためのライブラリだが、今回のバージョンが実際に何を改善したかは、リリースノートを確認するまで判断しにくい。