Devotd Github
新着推論・サービング

deepseek-ai/flashmla — MLA・疎注意最適化カーネル

FlashMLA は NVIDIA GPU と Huawei Ascend NPU 上で DeepSeek-V4.1 の推論に対応するアテンションカーネルライブラリである。

リポジトリ情報deepseek-ai/flashmla ↗

FlashMLA は NVIDIA GPU と Huawei Ascend NPU 上で DeepSeek-V4.1 の推論に対応するアテンションカーネルライブラリである。

GitHub の説明: FlashMLA: Efficient Multi-head Latent Attention Kernels

スター
★ 13.2K
フォーク
1.2K
言語
C++
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

deepseek-ai/flashmla は DeepSeek の最適化アテンションカーネルライブラリである。このリポジトリの README の説明によると、NVIDIA GPU と Huawei Ascend NPU 上で DeepSeek-V4.1 の推論に対応する。提示された FACTS には最新リリースのバージョンが記載されていないため、バージョン変更として紹介することはできない。現在確認できる内容はリポジトリの説明と README に記録された機能である。

このプロジェクトは MLA とトークン単位の疎注意計算のためのカーネルを提供する。疎注意とは、すべてのトークン間の関係を計算するのではなく、必要なトークン間の関係を選んで計算する方式である。README には FP8・FP4 KV キャッシュを使う疎注意のプリフィル・デコードカーネルと融合カーネル、および密注意のプリフィル・逆伝播カーネルが記されている。したがって対応範囲は疎注意だけでなく、密注意の一部の計算段階も含む。実装言語は C++ で、ライセンスは MIT である。GitHub のスター数は 13180 個である。これはリポジトリの公開説明に基づく範囲である。

提示された FACTS には性能測定値や比較基準がない。そのため対応プラットフォームとカーネルの種類は確認できるが、実際の処理速度がどれだけ改善するかはこの資料だけでは判断できない。リポジトリに関連付けられた最新リリースも示されていないため、機能の説明を特定のバージョンの新規変更と断定することは難しい。