huggingface/trl の最新リリース v1.16.0 が GitHub で公開された。TRL(Transformers Reinforcement Learning)は、Transformers エコシステムを基盤に基盤モデル(foundation model)をポストトレーニング(post-training)するライブラリである。
リポジトリの説明には、トランスフォーマー言語モデルを強化学習で学習させることを目的とある。README は SFTTrainer、GRPOTrainer、DPOTrainer、KTOTrainer と CLI を併せて提供し、SFT、GRPO、DPO、KTO を実行できるとしている。SFT は正解の付いたデータでモデルをさらに学習させる指示微調整(supervised fine-tuning)で、残りのトレーナーたちは選好最適化(preference optimization)と強化学習(reinforcement learning)の経路を扱う。単一 GPU からマルチノードクラスタまで拡張可能と明記されている。Apache-2.0 ライセンスで公開されている Python リポジトリで、スターは 19561 個である。
ただし v1.16.0 の個別の変更項目、性能ベンチマーク、導入事例は示されていない。記録されているモメンタムスコアは 10 点満点中 3.3 で、新鮮さ(novelty)・技術(tech)・品質(quality)の項目は空である。ポストトレーニングのパイプラインをすでに Transformers の上に構築しているチームなら確認に値するリリースだが、このバージョンによる利得を根拠に採用を決めるには、リリースノートを直接読むのがよい。