nvidia/megatron-lm 是 NVIDIA 面向多块 GPU 的 Transformer 模型训练公开仓库。其 GitHub 仓库描述称持续研究并训练大规模 Transformer 模型，该仓库的最新版本为 core_v0.19.2。
该仓库分为两部分。Megatron Core 提供 GPU 优化组件、Transformer 组件与模型架构，便于用户搭建自定义训练流水线；Megatron-LM 则是使用该核心的预置训练脚本参考示例。并行化支持张量并行（TP）、流水线并行（PP）、数据并行（DP）、专家并行（EP）以及 CP，混合精度训练则混用 FP16、BF16、FP8 与 FP4。这个仓库的用处在于，可以把“把训练分散到多块 GPU 上”的做法当作零件来参考。主要语言为 Python，GitHub 星标数为 18216，创建于 2019 年 3 月 21 日。
不过，收集到的资料没有 core_v0.19.2 的变更记录，也未给出性能数值或基准测试，因此本次发布究竟改动了什么无法确认。许可证仅记录为 NOASSERTION，实际使用条件无从得知；在 10 分制评分中，技术、质量与创新性均为空，只有动量（momentum）为 4.7。目前能够判断的，只是面向大规模训练的并行化组件已经公开这一点。