nvidia/megatron-lm은 GPU 여러 대에 걸친 트랜스포머 모델 학습을 다루는 NVIDIA의 공개 저장소다. GitHub 저장소 설명은 규모를 가로질러 트랜스포머 모델을 계속 연구하며 학습한다고 적혀 있고, 이 저장소의 최신 릴리스는 core_v0.19.2다.
저장소는 두 부분으로 나뉜다. Megatron Core는 GPU 최적화 구성 요소와 트랜스포머 구성 요소, 모델 아키텍처를 제공해 사용자 정의 학습 파이프라인을 세울 수 있게 하고, Megatron-LM은 그 코어를 쓰는 사전 구성 학습 스크립트의 참조 예제다. 병렬화는 텐서(TP)·파이프라인(PP)·데이터(DP)·전문가(EP)와 CP를 지원하고, 정밀도는 FP16·BF16·FP8·FP4를 섞는 혼합 정밀도 학습을 다룬다. 여러 GPU에 학습을 나눠 얹는 방법을 부품 형태로 참고할 수 있다는 것이 이 저장소의 쓰임이다. 주 언어는 Python이고 GitHub 스타는 18216개이며, 2019년 3월 21일 만들어졌다.
다만 수집된 자료에는 core_v0.19.2의 변경 내역이 없고 성능 수치나 벤치마크도 주어지지 않아, 이번 릴리스가 무엇을 바꿨는지는 확인되지 않는다. 라이선스도 NOASSERTION으로만 기록돼 실제 사용 조건을 알 수 없고, 10점 만점 기준 점수 중 기술·품질·참신성은 비어 있고 모멘텀(momentum)만 4.7이다. 지금 판단할 수 있는 것은 대규모 학습용 병렬화 구성 요소가 공개되어 있다는 사실까지다.