github.devotd.
새 소식LLM 인프라

nvidia-nemo/automodel v0.6.0 — DTensor-native 분산 학습 라이브러리

nvidia-nemo/automodel의 최신 릴리스 v0.6.0은 Hugging Face의 LLM·VLM을 형식 변환 없이 학습하는 DTensor-native SPMD 라이브러리다.

저장소 정보nvidia-nemo/automodel ↗

nvidia-nemo/automodel의 최신 릴리스 v0.6.0은 Hugging Face의 LLM·VLM을 형식 변환 없이 학습하는 DTensor-native SPMD 라이브러리다.

GitHub 설명: 🚀 Pytorch Distributed native training library for LLMs/VLMs with OOTB Hugging Face support

스타
★ 1K
포크
344
언어
Python
라이선스
Apache-2.0
최신 릴리스
v0.6.0
원문 보기 ↗GitHub에서 보기 ↗

nvidia-nemo/automodel은 Hugging Face 모델을 형식 변환 없이 학습하게 하는 PyTorch 분산 학습 라이브러리다. 대상은 언어 모델과 비전-언어 모델(LLM·VLM)이며, 저장소 설명은 PyTorch Distributed 네이티브 구현에 Hugging Face 지원이 기본 포함된다고 밝힌다. 최신 릴리스는 v0.6.0이고 저장소는 2025년 5월 21일 만들어졌다. 언어는 Python, 라이선스는 Apache-2.0이다.

README는 이 라이브러리를 대규모 학습을 위한 DTensor-native SPMD 라이브러리로 설명한다. SPMD는 하나의 프로그램으로 여러 장치에 같은 작업을 나눠 주는 방식이고, DTensor는 텐서를 여러 장치에 걸쳐 분할해 다루는 PyTorch의 방식이다. 형식 변환 없이 Hugging Face의 LLM·VLM을 학습할 수 있으며, LLM·VLM·디퓨전·검색용 레시피와 예제가 담겨 있다. FSDP2(파라미터를 장치들에 나눠 저장하는 데이터 병렬)와 파이프라인·컨텍스트 병렬, LoRA·QLoRA와 양자화 관련 구성 요소도 포함한다. 미세조정 레시피로는 LoRA와 full fine-tuning, FSDP, expert parallelism(연산을 여러 장치에 나눠 배치하는 병렬화)이 제시된다. 별은 1031개다.

다만 근거는 저장소 설명과 README의 자기기술에 한정돼 있다. 성능 수치나 다른 분산 학습 도구와의 비교, 실제 도입 사례는 주어진 정보에 없다. v0.6.0의 릴리스 노트 항목도 없어 이번 버전이 무엇을 바꿨는지는 확인할 수 없다. 함께 정리된 평가에서도 모멘텀 2.5를 제외한 참신성·기술·품질 점수는 산출되지 않았다. 지금 기대할 것은 특정 성능 우위가 아니라 학습 구성이 정리된 파이프라인 레퍼런스 쪽에 가깝다.