huggingface/trl 的最新版本 v1.16.0 已在 GitHub 上发布。TRL(Transformers Reinforcement Learning)是一个基于 Transformers 生态对基础模型进行后训练(post-training)的库。
仓库说明中写明，其目的是用强化学习训练 Transformer 语言模型。README 说明它同时提供 SFTTrainer、GRPOTrainer、DPOTrainer、KTOTrainer 以及 CLI，可以进行 SFT、GRPO、DPO 和 KTO。SFT 是监督微调(supervised fine-tuning)，即用带有正确答案的数据对模型进行进一步训练，其余训练器则覆盖偏好优化(preference optimization)与强化学习(reinforcement learning)路径。文档写明可从单张 GPU 扩展到多节点集群。它是以 Apache-2.0 许可发布的 Python 仓库，星标数为 19561 个。
不过，v1.16.0 的具体变更项、性能基准和引入案例都没有给出。记录的动量分数为 10 分制 3.3 分，新颖性(novelty)、技术(tech)、质量(quality)项均为空。已经把后训练管线搭在 Transformers 之上的团队值得查看这一版本，但若要依据本版本的收益来决定是否采用，还是直接阅读发布说明更合适。