nvidia/megatron-lm は NVIDIA の公開リポジトリで、複数 GPU にまたがる Transformer モデルの学習を取り扱う。GitHub のリポジトリ説明にはスケールを横断して Transformer モデルの研究と学習を続けると書かれており、このリポジトリの最新リリースは core_v0.19.2 だ。
このリポジトリは 2 つに分かれる。Megatron Core は GPU 最適化コンポーネント、Transformer コンポーネント、モデルアーキテクチャを提供し、ユーザーが独自の学習パイプラインを構築できるようにしている。Megatron-LM はそのコアを使うプリセット学習スクリプトの参考例だ。並列化はテンソル（TP）・パイプライン（PP）・データ（DP）・エキスパート（EP）と CP に対応し、精度は FP16・BF16・FP8・FP4 を組み合わせた混合精度学習を扱う。複数 GPU に学習を分割して載せ方を部品として参考にできることが、このリポジトリの用途だ。主言語は Python で、GitHub スターは 18216 個、2019 年 3 月 21 日に作成された。
ただし収集した資料には core_v0.19.2 の変更内容が記載されておらず、性能値やベンチマークも示されていないため、このリリースが何を変えたかは確認できない。ライセンスも NOASSERTION と記録されているだけで、実際の利用条件は分からない。10 点満点のスコアでは技術・品質・斬新性は空欄で、モメンタム（momentum）のみ 4.7 だ。今判断できるのは、大規模学習向けの並列化コンポーネントが公開されているという事実までである。