huggingface/alignment-handbook 是一个汇集语言模型对齐（alignment）训练配方的仓库，对齐是指让模型的回答朝人类或其他 AI 更偏好的方向变化的训练。目前没有公开的最新版本，仓库使用 Python 编写，并以 Apache-2.0 许可证公开。
scripts 目录中收录了用于模型训练与评估的持续预训练（continued pretraining）、SFT、DPO、ORPO 等流程。持续预训练是在已训练完成的模型上继续学习新知识的阶段，SFT、DPO、ORPO 则是用于对齐模型响应的训练流程。训练脚本、配置和数据处理方法一并提供，因此可以复现微调过程。全模型训练支持 DeepSpeed ZeRO-3 和 LoRA/QLoRA。ZeRO-3 是把训练所需的内存分摊到多台设备上的方式，LoRA/QLoRA 则是在固定大模型主体的情况下只额外训练轻量模块的方式。recipes 目录中包含用于复现 Zephyr 7B 等模型的 YAML 配置，还说明了如何用自有数据集训练聊天模型。该仓库创建于 2023 年 8 月 25 日，目前有 5697 个 star。
不过，仓库没有给出能够证明对齐训练性能的基准数据。新鲜度、技术、质量三项分数均为空，只有动量分数保留下来，且仅为 1.0 这样较低的值。因此，这个仓库可以作为按照对齐训练流程动手尝试的参考资料，但仅凭它很难判断对齐质量。