github.devotd.
新着LLMインフラ

hiyouga/llamafactory v0.9.5 — 100 以上の LLM・VLM を微調整するツール

hiyouga/llamafactory v0.9.5 は、コマンドラインとウェブ UI から 100 以上の LLM と VLM を微調整できる Apache-2.0 ライセンスの Python ツールである。

リポジトリ情報hiyouga/llamafactory ↗

hiyouga/llamafactory v0.9.5 は、コマンドラインとウェブ UI から 100 以上の LLM と VLM を微調整できる Apache-2.0 ライセンスの Python ツールである。

GitHub の説明: Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)

スター
★ 75.6K
フォーク
9.3K
言語
Python
ライセンス
Apache-2.0
最新リリース
v0.9.5
原文を見る ↗GitHub で見る ↗

hiyouga/llamafactory の最新リリースは v0.9.5 である。このリポジトリは 100 以上の大規模言語モデル(LLM)と視覚言語モデル(VLM)をまとめて微調整する Python ツールだ。コードを書き込まずに、コマンドラインインターフェース(CLI)とウェブのユーザーインターフェースで微調整のフローを構成できる。ただし v0.9.5 で変更された項目はこの記録には整理されていない。

微調整(fine-tuning)は、事前学習済みのモデルを特定のデータに合わせて再度学習させる作業である。このプロジェクトは、全重みを学習する full 学習、追加の重みだけを学習する LoRA とその量子化版である QLoRA、アラインメント学習を CLI と GUI の両方でまとめて構成している。モデルと学習方式を 1 つのツールで扱える範囲が、このリポジトリの肝である。README は、コードを記述せずにコマンドラインとウェブ UI から 100 以上の LLM を微調整できるとしている。ライセンスは Apache-2.0 で、リポジトリの説明には ACL 2024 も併記されている。スター数は 75627、作成日は 2023 年 5 月 28 日である。

ただし、この記録には学習速度や安定性を示す独自ベンチマークがない。性能スコアも品質スコアも未記入で、残っているのは 10 点満点中 5.5 のモメンタムスコアだけである。提供された情報だけで v0.9.5 の性能や品質を測るのは難しい。判断の根拠は、リリースノートと実際の学習結果を確認する方に置くのがよい。