huggingface/alignment-handbook는 언어 모델을 인간과 AI의 선호도에 맞춰 정렬(alignment)하는 학습 레시피를 모은 저장소다. 정렬은 모델의 답변이 사람이나 다른 AI가 더 선호하는 방향으로 바뀌도록 만드는 학습을 뜻한다. 공개된 최신 릴리스는 없으며 Python으로 작성돼 Apache-2.0 라이선스로 공개됐다.
scripts 디렉터리에는 모델 학습과 평가를 위한 지속 사전 학습(continued pretraining), SFT, DPO, ORPO 절차가 들어 있다. 지속 사전 학습은 학습이 끝난 모델에 새 지식을 더 학습시키는 단계고, SFT·DPO·ORPO는 모델의 응답을 정렬하는 학습 절차다. 학습 스크립트와 설정, 데이터 처리 방법이 함께 담겨 있어 미세조정 과정을 재현할 수 있다. 전체 모델 학습은 DeepSpeed ZeRO-3와 LoRA/QLoRA를 지원한다. ZeRO-3는 학습에 필요한 메모리를 여러 장치에 나눠 쓰는 방식이고, LoRA/QLoRA는 큰 모델의 본체는 고정한 채 가벼운 모듈만 추가로 학습하는 방식이다. recipes 디렉터리에는 Zephyr 7B 등 모델을 재현하는 YAML 설정이 담겨 있고, 자체 데이터셋으로 채팅 모델을 학습하는 방법도 안내한다. 저장소는 2023년 8월 25일 만들어졌고 별은 5697개다.
다만 정렬 학습의 성능을 입증하는 벤치마크 수치는 주어지지 않는다. 신선성·기술·품질 점수는 채워지지 않았고 모멘텀 점수만 1.0으로 낮게 남아 있다. 따라서 이 저장소는 정렬 학습 절차를 따라 해 볼 수 있는 참고 자료로 볼 만하지만, 정렬 품질을 이 저장소만으로 판단하기는 어렵다.