github.devotd.
새 소식LLM 인프라

huggingface/accelerate v1.15.0 — PyTorch 분산 학습 라이브러리

huggingface/accelerate v1.15.0은 사용자가 직접 쓴 PyTorch 훈련 스크립트를 단일·분산 CPU·GPU·TPU 환경에서 실행하도록 돕는 라이브러리의 최신 릴리스다.

저장소 정보huggingface/accelerate ↗

huggingface/accelerate v1.15.0은 사용자가 직접 쓴 PyTorch 훈련 스크립트를 단일·분산 CPU·GPU·TPU 환경에서 실행하도록 돕는 라이브러리의 최신 릴리스다.

GitHub 설명: 🚀 A simple way to launch, train, and use PyTorch models on almost any device and distributed configuration, automatic mixed precision (including fp8), and easy-to-configure FSDP and DeepSpeed support

스타
★ 9.9K
포크
1.6K
언어
Python
라이선스
Apache-2.0
최신 릴리스
v1.15.0
원문 보기 ↗GitHub에서 보기 ↗

GitHub의 huggingface/accelerate 저장소에서 v1.15.0이 공개됐다. Accelerate는 사용자가 직접 작성한 PyTorch 훈련 스크립트를 단일 또는 분산 CPU·GPU·TPU 환경에서 실행하게 해 주는 Python 라이브러리다. 여러 장비에서 같은 스크립트를 돌릴 때 필요한 초기화와 실행 부분을 라이브러리가 대신 처리한다.

README는 Accelerate가 다중 GPU·TPU와 혼합 정밀도(automatic mixed precision)를 쓰는 데 필요한 보일러플레이트 코드를 추상화하면서 나머지 훈련 코드는 그대로 유지할 수 있다고 설명한다. 저장소 설명은 거의 모든 기기와 분산 구성에서 PyTorch 모델을 실행하고 학습시키는 것을 목표로 하고, fp8을 포함한 혼합 정밀도와 FSDP·DeepSpeed 지원을 내세운다.

분산 초기화와 실행 런처를 감싸는 가운데 DeepSpeed 같은 학습 인프라를 연결하는 역할도 맡는다. 환경 설정과 스크립트 실행은 선택형 명령행 도구로 처리한다. 라이선스는 Apache-2.0이고 저장소 스타 수는 9922다. 저장소는 2020년 10월 30일에 만들어졌다.

다만 이 자료에는 v1.15.0의 릴리스 노트가 없어 이 버전에서 무엇이 달라졌는지는 확인할 수 없다. 저장소 설명과 README에 적힌 기능도 문서화된 내용이지 독립적으로 재현한 결과가 아니다. 모멘텀 지수는 10점 만점에서 2.1이었고 새로움·기술·품질 지표는 수치가 주어지지 않았다. 분산 학습 구성이 실제로 얼마나 편해지는지는 별도로 확인할 일이다.