Devotd Github
新着LLMインフラ

axolotl-ai-cloud/axolotl v0.21.0 — YAML レシピベースの LLM ファインチューニングツール

YAML レシピで LoRA・QLoRA と分散学習を実行するオープンソース LLM ファインチューニングフレームワーク axolotl-ai-cloud/axolotl の最新リリースは v0.21.0 である。

リポジトリ情報axolotl-ai-cloud/axolotl ↗

YAML レシピで LoRA・QLoRA と分散学習を実行するオープンソース LLM ファインチューニングフレームワーク axolotl-ai-cloud/axolotl の最新リリースは v0.21.0 である。

GitHub の説明: Go ahead and axolotl questions

スター
★ 12.6K
フォーク
1.5K
言語
Python
ライセンス
Apache-2.0
最新リリース
v0.21.0
原文を見る ↗GitHub で見る ↗

axolotl-ai-cloud/axolotl は、設定ファイル(YAML)を使って LLM の学習とファインチューニングを実行するオープンソースフレームワークである。Python で書かれ、Apache-2.0 ライセンスで公開されている。現在確認できる最新リリースは v0.21.0 だが、このバージョンのリリースノートが提示されていないため、変更された機能と修正内容は特定できない。

README はこのプロジェクトが無料のオープンソース LLM ファインチューニングツールであると明記し、LoRA や QLoRA を含む学習設定と分散学習機能を紹介している。LoRA は巨大モデルの既存の重みをそのまま更新せず、追加の重みだけを学習してファインチューニングする方法であり、QLoRA は重みを少ないビット数に圧縮した状態で LoRA を叠加して学習する方法である。学習を複数デバイスに分けて処理する分散学習も YAML レシピで扱われている。YAML レシピはモデル・データ・学習方式をテキストで記述した設定ファイルなので、学習構成が一つにまとめられる。リポジトリのスター数は 12603 個だ。

ただし、パフォーマンスを比較したベンチマーク数値は与えられた記録には存在しない。スコア項目のうちモメンタムのみ 3.2 が記入され、新規性・技術・品質の各スコアは空欄のため、他のファインチューニングツールとどれだけ異なるかは判断が早い。リポジトリは 2023 年 4 月 14 日に作成されており、確認できる根拠はリポジトリの説明と最新リリース番号までである。Apache-2.0 ライセンスと YAML レシピ中心の構造を併せて見れば、学習パイプラインをすでに備えたチームが検討する価値のある範囲だ。