github.devotd.
새 소식LLM 인프라

mosaicml/composer v0.32.1 — 분산 학습 워크플로를 단순화하는 PyTorch 라이브러리

MosaicML이 만든 PyTorch 기반 학습 라이브러리 mosaicml/composer는 멀티노드 분산 학습과 FSDP·DDP, 탄력적 샤드 체크포인트를 하나의 Trainer로 단순화한다.

저장소 정보mosaicml/composer ↗

MosaicML이 만든 PyTorch 기반 학습 라이브러리 mosaicml/composer는 멀티노드 분산 학습과 FSDP·DDP, 탄력적 샤드 체크포인트를 하나의 Trainer로 단순화한다.

GitHub 설명: Supercharge Your Model Training

스타
★ 5.5K
포크
473
언어
Python
라이선스
Apache-2.0
최신 릴리스
v0.32.1
원문 보기 ↗GitHub에서 보기 ↗

mosaicml/composer는 MosaicML이 만든 PyTorch 기반 오픈소스 딥러닝 학습 라이브러리다. GitHub 저장소 github.com/mosaicml/composer에서 공개되며, 대규모 클러스터에서 여러 노드로 나눠 진행하는 분산 학습(distributed training) 워크플로를 하나의 Trainer로 단순화하는 것이 목적이다. Python으로 작성됐고 Apache-2.0 라이선스로 배포된다. 공개된 최신 릴리스는 v0.32.1이다.

확장 가능한 PyTorch 모델 학습과 학습 알고리즘 조합을 위한 라이브러리로, 멀티노드 학습과 체크포인트, 학습 최적화 알고리즘을 하나의 Trainer에 묶는다. Trainer 안에서 병렬화 방식과 데이터 로더, 지표와 로거를 설정하고, FSDP와 DDP, 탄력적 샤드 체크포인트(elastic sharded checkpoint)를 지원한다. 콜백과 학습 알고리즘으로 학습 과정을 사용자 요구에 맞게 조정할 수 있다. 저장소는 2021년 10월 12일 만들어졌고 GitHub 스타는 5507개다.

다만 확인할 수 있는 범위는 README가 설명한 기능 목록까지다. v0.32.1의 변경 내역과 학습 속도나 처리량을 비교한 수치는 주어진 정보에 없다. 분산 학습과 체크포인트 관리를 한곳에 묶는 선택지로는 확인할 만하지만, 실제 학습 성능이 얼마나 나아지는지는 해당 환경에서 직접 측정해야 알 수 있다.