github.devotd.
新发现大语言模型基础设施

huggingface/accelerate v1.15.0 — PyTorch 分布式训练库

huggingface/accelerate v1.15.0 是一个库的最新版本,它帮助用户在单个或分布式的 CPU、GPU、TPU 环境中运行自己编写的 PyTorch 训练脚本。

仓库信息huggingface/accelerate ↗

huggingface/accelerate v1.15.0 是一个库的最新版本,它帮助用户在单个或分布式的 CPU、GPU、TPU 环境中运行自己编写的 PyTorch 训练脚本。

GitHub 项目说明: 🚀 A simple way to launch, train, and use PyTorch models on almost any device and distributed configuration, automatic mixed precision (including fp8), and easy-to-configure FSDP and DeepSpeed support

星标
★ 9.9K
复刻
1.6K
语言
Python
许可证
Apache-2.0
最新版本
v1.15.0
查看原始来源 ↗在 GitHub 查看 ↗

GitHub 上的 huggingface/accelerate 仓库发布了 v1.15.0。Accelerate 是一个 Python 库,可让用户运行自己编写的 PyTorch 训练脚本,支持单个或分布式的 CPU、GPU、TPU 环境。在多台设备上运行同一个脚本时,库会代为处理所需的初始化和启动部分。

README 说明,Accelerate 在抽象掉多 GPU、多 TPU 以及混合精度(automatic mixed precision)所需的样板代码的同时,可以让其余训练代码保持不变。仓库描述提出的目标是,在几乎所有设备和分布式配置上运行并训练 PyTorch 模型,并强调包含 fp8 在内的混合精度以及 FSDP、DeepSpeed 支持。

它在封装分布式初始化和启动器的同时,还承担着连接 DeepSpeed 等训练基础设施的角色。环境配置和脚本执行由一个可选的命令行工具处理。许可证为 Apache-2.0,仓库 star 数为 9922。仓库创建于 2020 年 10 月 30 日。

不过,这份资料没有 v1.15.0 的发布说明,因此无法确认这一版本有哪些变化。仓库描述和 README 中列出的功能也属于文档记载的内容,并非独立复现的结果。动量指数为 10 分制 2.1 分,新颖性、技术、质量指标均未给出数值。分布式训练配置在实际使用中会变得多么方便,还需要另行确认。