github.devotd.
新着推論・サービング

deepseek-ai/deepgemm v2.1.1.post3 — GPU テンソルコアカーネルライブラリ

deepseek-ai/deepgemm v2.1.1.post3 は、NVIDIA GPU 上で FP8・FP4・BF16 の行列乗算と MoE 演算をランタイムにコンパイルして実行する CUDA カーネルライブラリの最新リリースである。

リポジトリ情報deepseek-ai/deepgemm ↗

deepseek-ai/deepgemm v2.1.1.post3 は、NVIDIA GPU 上で FP8・FP4・BF16 の行列乗算と MoE 演算をランタイムにコンパイルして実行する CUDA カーネルライブラリの最新リリースである。

GitHub の説明: DeepGEMM: clean and efficient BLAS kernel library on GPU

スター
★ 9.1K
フォーク
1.4K
言語
Cuda
ライセンス
MIT
最新リリース
v2.1.1.post3
原文を見る ↗GitHub で見る ↗

deepseek-ai/deepgemm の最新リリースは v2.1.1.post3 である。NVIDIA GPU 向けの BLAS カーネルライブラリで、行列乗算(GEMM)と混合エキスパート(Mixture of Experts, MoE)演算を高速化する。中心となる演算は FP8・FP4・BF16 の行列乗算と MoE であり、カーネルをランタイムにコンパイルして GPU に最適化している。

README はこのリポジトリを、統合されたハイパフォーマンスなテンソルコア(tensor core)カーネルライブラリと説明している。スコープは FP8・FP4・BF16 GEMM にとどまらず、通信を計算に重ねて実行する fused MoE である Mega MoE、lightning indexer で使われる MQA scoring、HyperConnection まで、すべてひとつの CUDA コードベースで提供される。すべてのカーネルは DeepJIT によりランタイムでコンパイルされるため、インストール時の CUDA コンパイルは不要である。ライセンスは MIT、主场言語は Cuda、記録されているスター数は 9050 である。

ただし v2.1.1.post3 で変更された内容は、提示された資料には含まれていない。今回のバージョンで何が追加・変更されたかを確認するには、リポジトリのリリースノートを直接参照する必要がある。パフォーマンスのベンチマーク数値も検証環境も示されていないため、どの GPU・モデルサイズでどれだけ速いのかの判断は早い。リサーチ記録はモメンタムスコア 6.3 のみを付与し、新規性・技術・品質スコアは算出していない。検証されていない性能数値を前提とした導入判断を下すのは難しい。