DeepSpeed(deepspeedai/deepspeed) は、大規模モデルの学習を複数デバイスに分担して行う分散学習ライブラリである。リポジトリの最新リリースは v0.19.8 で、Python で記述され、Apache-2.0 ライセンスで配布されている。この v0.19.8 で何が変更されたかは、提示された資料には記載がない。
README は DeepSpeed を大規模なディープラーニング学習のためのシステム最適化プロジェクトと説明している。ZeRO は学習に必要な状態を複数デバイスに分割して保持し、GPU メモリの負荷を下げる手法であり、ZeRO-Infinity はここに CPU と NVMe SSD までオフロード範囲を広げる。3D 並列化とともに Ulysses Sequence Parallelism と DeepSpeed-MoE が紹介され、DeepSpeed-MoE は複数の専門モデルが分担した結果をまとめて使う混合エキスパート（Mixture of Experts）構造を扱う。README はこれらの技術が MT-530B と BLOOM の学習に活用されたと明かしている。DeepSpeed はモデルやファインチューニングの画面ではなく、メモリ管理と分散実行、通信の最適化を直接提供する学習インフラに近い存在である。
確認できる範囲は限定的である。性能を測るための指標は資料に示されておらず、評価点のうち Momentum のみが 10 点満点基準 2.9 と低い。2020 年 1 月 23 日に作られたリポジトリで star を 43252 集めたが、star 数はリリースの完成度を保証しない。学習インフラの候補として記録しておき、実際の採用判断はリリースノートと性能資料がさらに出た後に延ばすのが妥当である。