GitHub 上的 huggingface/accelerate 仓库发布了 v1.15.0。Accelerate 是一个 Python 库,可让用户运行自己编写的 PyTorch 训练脚本,支持单个或分布式的 CPU、GPU、TPU 环境。在多台设备上运行同一个脚本时,库会代为处理所需的初始化和启动部分。
README 说明,Accelerate 在抽象掉多 GPU、多 TPU 以及混合精度(automatic mixed precision)所需的样板代码的同时,可以让其余训练代码保持不变。仓库描述提出的目标是,在几乎所有设备和分布式配置上运行并训练 PyTorch 模型,并强调包含 fp8 在内的混合精度以及 FSDP、DeepSpeed 支持。
它在封装分布式初始化和启动器的同时,还承担着连接 DeepSpeed 等训练基础设施的角色。环境配置和脚本执行由一个可选的命令行工具处理。许可证为 Apache-2.0,仓库 star 数为 9922。仓库创建于 2020 年 10 月 30 日。
不过,这份资料没有 v1.15.0 的发布说明,因此无法确认这一版本有哪些变化。仓库描述和 README 中列出的功能也属于文档记载的内容,并非独立复现的结果。动量指数为 10 分制 2.1 分,新颖性、技术、质量指标均未给出数值。分布式训练配置在实际使用中会变得多么方便,还需要另行确认。