hiyouga/llamafactory の最新リリースは v0.9.5 である。このリポジトリは 100 以上の大規模言語モデル(LLM)と視覚言語モデル(VLM)をまとめて微調整する Python ツールだ。コードを書き込まずに、コマンドラインインターフェース(CLI)とウェブのユーザーインターフェースで微調整のフローを構成できる。ただし v0.9.5 で変更された項目はこの記録には整理されていない。
微調整(fine-tuning)は、事前学習済みのモデルを特定のデータに合わせて再度学習させる作業である。このプロジェクトは、全重みを学習する full 学習、追加の重みだけを学習する LoRA とその量子化版である QLoRA、アラインメント学習を CLI と GUI の両方でまとめて構成している。モデルと学習方式を 1 つのツールで扱える範囲が、このリポジトリの肝である。README は、コードを記述せずにコマンドラインとウェブ UI から 100 以上の LLM を微調整できるとしている。ライセンスは Apache-2.0 で、リポジトリの説明には ACL 2024 も併記されている。スター数は 75627、作成日は 2023 年 5 月 28 日である。
ただし、この記録には学習速度や安定性を示す独自ベンチマークがない。性能スコアも品質スコアも未記入で、残っているのは 10 点満点中 5.5 のモメンタムスコアだけである。提供された情報だけで v0.9.5 の性能や品質を測るのは難しい。判断の根拠は、リリースノートと実際の学習結果を確認する方に置くのがよい。