DeepSpeed(deepspeedai/deepspeed)는 대규모 모델 학습을 여러 장치에 나눠 진행하는 분산 학습 라이브러리다. 저장소의 최신 릴리스는 v0.19.8이고, Python으로 작성돼 Apache-2.0 라이선스로 배포돼 있다. 이번 v0.19.8에서 무엇이 바뀌었는지는 주어진 자료에 적혀 있지 않다.
README는 DeepSpeed를 대규모 딥러닝 학습을 위한 시스템 최적화 프로젝트로 설명한다. ZeRO는 학습에 필요한 상태를 여러 장치에 나눠 저장해 GPU 메모리 부담을 줄이는 방식이고, ZeRO-Infinity는 여기에 CPU와 NVMe SSD까지 오프로딩 범위를 넓힌다. 3D 병렬화와 Ulysses Sequence Parallelism, DeepSpeed-MoE가 함께 소개되는데, DeepSpeed-MoE는 여러 전문 모델이 나눠 맡은 결과를 합쳐 쓰는 혼합 전문가(Mixture of Experts) 구조를 다룬다. README는 이 기술들이 MT-530B와 BLOOM의 학습에 활용됐다고 밝힌다. DeepSpeed는 모델이나 파인튜닝 화면이 아니라 메모리 관리와 분산 실행, 통신 최적화를 직접 제공하는 학습 인프라에 가깝다.
확인할 수 있는 범위는 제한적이다. 성능을 가늠할 측정값은 자료에 없고, 평가 점수 가운데 모멘텀만 10점 만점 기준 2.9로 낮다. 2020년 1월 23일 만들어진 저장소로 별 43252개를 모았지만, 별 수는 릴리스의 완성도를 알려 주지 않는다. 학습 인프라 후보로 기록해 두되 실제 적용 판단은 릴리스 노트와 성능 자료가 더 나온 뒤로 미루는 편이 맞다.