GitHub の huggingface/accelerate リポジトリで v1.15.0 が公開されました。Accelerate は、ユーザーが直接書いた PyTorch の学習スクリプトを単一環境または分散型の CPU・GPU・TPU 環境で実行できるようにする Python ライブラリです。複数の機器で同じスクリプトを実行する際に必要な初期化と起動の処理を、ライブラリが代わりに 수행します。
README は、Accelerate が複数 GPU・TPU や混合精度（automatic mixed precision）の利用で必要となる定型コードを抽象化し、残りの学習コードはそのまま維持できると説明しています。リポジトリの説明は、ほぼすべての機器と分散構成で PyTorch モデルを実行し学習させることを目標として掲げ、fp8 を含む混合精度と FSDP・DeepSpeed 対応を強調しています。
分散初期化とランチャーをラップする一方で、DeepSpeed などの学習基盤を接続する役割も担います。環境設定とスクリプトの実行はオプショナルなコマンドラインツールで扱います。ライセンスは Apache-2.0 で、リポジトリのスター数は 9922 です。リポジトリは 2020 年 10 月 30 日に作成されました。
ただし、この資料には v1.15.0 のリリースノートが含まれておらず、このバージョンで何が変わったかは確認できません。リポジトリの説明や README に記載された機能も、文書化された内容であって独立に再現した結果ではありません。モメンタム指数は 10 点満点で 2.1 であり、新しさ・技術・品質の各指標には数値が示されていません。分散学習の構成が実際にどれだけ扱いやすくなるかは、別途確認する必要があります。