axolotl-ai-cloud/axolotl は、設定ファイル(YAML)を使って LLM の学習とファインチューニングを実行するオープンソースフレームワークである。Python で書かれ、Apache-2.0 ライセンスで公開されている。現在確認できる最新リリースは v0.21.0 だが、このバージョンのリリースノートが提示されていないため、変更された機能と修正内容は特定できない。
README はこのプロジェクトが無料のオープンソース LLM ファインチューニングツールであると明記し、LoRA や QLoRA を含む学習設定と分散学習機能を紹介している。LoRA は巨大モデルの既存の重みをそのまま更新せず、追加の重みだけを学習してファインチューニングする方法であり、QLoRA は重みを少ないビット数に圧縮した状態で LoRA を叠加して学習する方法である。学習を複数デバイスに分けて処理する分散学習も YAML レシピで扱われている。YAML レシピはモデル・データ・学習方式をテキストで記述した設定ファイルなので、学習構成が一つにまとめられる。リポジトリのスター数は 12603 個だ。
ただし、パフォーマンスを比較したベンチマーク数値は与えられた記録には存在しない。スコア項目のうちモメンタムのみ 3.2 が記入され、新規性・技術・品質の各スコアは空欄のため、他のファインチューニングツールとどれだけ異なるかは判断が早い。リポジトリは 2023 年 4 月 14 日に作成されており、確認できる根拠はリポジトリの説明と最新リリース番号までである。Apache-2.0 ライセンスと YAML レシピ中心の構造を併せて見れば、学習パイプラインをすでに備えたチームが検討する価値のある範囲だ。