DeepSpeed(deepspeedai/deepspeed) 是一个将大规模模型训练拆分到多个设备上进行的分布式训练库。该仓库的最新版本是 v0.19.8，使用 Python 编写，以 Apache-2.0 许可证发布。至于本次 v0.19.8 有哪些改动，给定的资料中并未说明。
README 将 DeepSpeed 描述为面向大规模深度学习训练的系统优化项目。ZeRO 是一种把训练所需状态分片存储到多个设备上以减轻 GPU 内存负担的方式，ZeRO-Infinity 则在此基础上把卸载范围扩大到 CPU 和 NVMe SSD。3D 并行化与 Ulysses Sequence Parallelism、DeepSpeed-MoE 一同被介绍，其中 DeepSpeed-MoE 讨论的是由多个专家模型分担任务、再合并结果的混合专家（Mixture of Experts）结构。README 说明这些技术曾用于 MT-530B 和 BLOOM 的训练。DeepSpeed 与其说是模型或微调界面，不如说是直接提供内存管理、分布式执行和通信优化的学习基础设施。
可以确认的范围是有限的。资料中没有可用于衡量性能的指标，评估分数中只有 Momentum 偏低，为 10 分制下的 2.9 分。该仓库创建于 2020 年 1 月 23 日，累计获得 43252 个 star，但 star 数并不能说明该版本的完成度。可以先把它记录为学习基础设施的候选，而实际是否采用，则宜等到发布说明和性能资料公布之后再做判断。