maharshi-pandya/megacute は CuTe DSL で Transformer の演算グラフを構成し、複数層の演算を単一の持続実行カーネルで処理するライブラリです。リポジトリ情報には正式なリリースバージョンが記載されていません。グラフと演算を Python で記述し、コンパイラが実行プログラムを生成します。したがって本稿は特定のバージョンの変更点ではなく、Python でグラフを記述し、CuTe DSL ベースのカーネルで実行するプロジェクトの紹介です。
メガカーネルは複数の演算を1つのカーネルにまとめて実行する方式です。megacute はアテンション、正規化、出力層を含む Transformer グラフを対象としており、README には Llama と DiT の例があります。README は B200 で得られた測定結果を他の推論ツールと比較しています。プロジェクトの中心は、グラフ全体を Python API で表現し、複数の演算を持続実行カーネルにまとめることにあります。リポジトリ情報には Python と Apache-2.0 ライセンスが明記されています。
ただし比較結果は B200 での測定として提示されており、README は長いコンテキストや大きなバッチではアテンション演算の制約によって他のツールが先行しうるすと説明しています。そのためこの資料だけでは、すべての入力規模や GPU での優位性は判断できません。示された説明は特定のグラフィックスカード系列を対象とすると述べていますが、汎用的な推論ツールであるという根拠までは示していません。現在確認できるのは CuTe DSL を中心とする実行経路と例、および限定的な比較結果であり、汎用推論サーバーの代替だと断定するのは困難です。