pytorch/torchtitan은 대규모 생성형 AI 모델을 학습시키기 위한 PyTorch 네이티브 플랫폼이다. 2023년 12월 만들어진 저장소로, 하나의 코드베이스에서 사전 학습과 후학습을 여러 장치에 걸친 분산 학습 구성과 함께 실행한다. 최신 릴리스는 v0.3.0인데, 제공된 정보에는 이 버전의 변경 항목이 없다.
README는 이 플랫폼이 사전 학습, 지도 파인튜닝, 강화 학습을 한 저장소에서 진행하고, 모델을 다시 쓰지 않은 채 FSDP(파라미터를 여러 장치에 나눠 저장하는 데이터 병렬 방식)와 텐서·파이프라인·컨텍스트·익스퍼트 병렬화를 조합한다고 설명한다. 학습 단계와 병렬화 구성이 한 저장소에 들어 있어, 사전 학습에서 후학습까지 같은 코드 위에서 이어 갈 수 있는 구조다. 모든 실행은 읽고 복사해 고칠 수 있는 Python recipe로 주어지고, TitanRL은 trainer와 vLLM이 같은 모델 정의와 커널을 공유한다. 언어가 Python이고 라이선스는 BSD-3-Clause이며 GitHub 스타는 5825개다.
다만 함께 정리된 평가에서 남은 숫자는 10점 만점 기준 모멘텀 3.2뿐이고, 성능 수치나 벤치마크, 실제 도입 사례는 주어지지 않았다. 실측 성능이나 도입 확산에서 앞선 프로젝트라고 읽을 근거는 없다. 지금으로서는 대규모 분산 학습 구성을 직접 짜야 하는 팀의 참고용 레퍼런스로 보는 것이 맞다.