huggingface/alignment-handbook は、言語モデルを人間や AI の好みに合わせて整える（alignment）学習レシピをまとめたリポジトリである。アライメントとは、モデルの回答が人間や他の AI により好まれる方向へ変わるようにする学習を指す。公開されている最新リリースはなく、Python で記述され、Apache-2.0 ライセンスで公開されている。
scripts ディレクトリには、モデルの学習と評価のための継続事前学習（continued pretraining）、SFT、DPO、ORPO の手順が収録されている。継続事前学習は学習を終えたモデルに新たな知識を学習させる段階であり、SFT・DPO・ORPO はモデルの応答をアライメントさせる学習手順である。学習スクリプトと設定、データ処理方法がまとめて收录されているため、微調整の過程を再現できる。全モデルの学習は DeepSpeed ZeRO-3 と LoRA/QLoRA に対応する。ZeRO-3 は学習に必要なメモリを複数デバイスに分割して使う方式であり、LoRA/QLoRA は大きなモデルの本体は固定したまま軽量なモジュールだけを追加で学習する方式である。recipes ディレクトリには Zephyr 7B などのモデルを再現する YAML 設定が収めてあり、独自データセットでのチャットモデル学習方法も案内している。リポジトリは 2023 年 8 月 25 日に作成され、スターは 5697 個である。
ただし、アライメント学習の性能を裏づけるベンチマーク数値は示されていない。新鮮度・技術・品質のスコアは空欄で、モメンタムのスコアのみ 1.0 と低い値のまま残っている。したがってこのリポジトリは、アライメント学習の手順に沿って手を動かすための参考資料にはなるものの、アライメントの品質をこのリポジトリだけで判断するのは難しい。