github.devotd.
新发现大语言模型基础设施

hiyouga/llamafactory v0.9.5 — 支持 100 多个 LLM 与 VLM 的微调工具

hiyouga/llamafactory v0.9.5 是一个采用 Apache-2.0 许可证的 Python 工具,可通过命令行和网页界面微调 100 多个 LLM 与 VLM。

仓库信息hiyouga/llamafactory ↗

hiyouga/llamafactory v0.9.5 是一个采用 Apache-2.0 许可证的 Python 工具,可通过命令行和网页界面微调 100 多个 LLM 与 VLM。

GitHub 项目说明: Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)

星标
★ 75.6K
复刻
9.3K
语言
Python
许可证
Apache-2.0
最新版本
v0.9.5
查看原始来源 ↗在 GitHub 查看 ↗

hiyouga/llamafactory 的最新版本是 v0.9.5。这是一个用于集中微调 100 多个大语言模型(LLM)与视觉-语言模型(VLM)的 Python 工具。无需编写代码,就能通过命令行界面(CLI)和网页用户界面搭建微调流程。不过这份记录没有整理 v0.9.5 的变更项。

微调(fine-tuning)是对预训练模型重新训练、使其适配特定数据的工作。这个项目在 CLI 与 GUI 中同时提供了学习全部权重的 full 训练、只学习附加权重的 LoRA 及其量化版本 QLoRA,以及对齐训练。在一个工具里同时覆盖模型与训练方式,正是这个仓库的核心。README 说明,无需编写代码,就能通过命令行和网页界面微调 100 多个 LLM。许可证为 Apache-2.0,仓库描述中还一并标注了 ACL 2024。星标数为 75627,创建于 2023 年 5 月 28 日。

不过这份记录中没有能体现训练速度或稳定性的自建基准。性能分数与质量分数都未填写,只留下一个 10 分满分的动量分数 5.5。仅凭提供的信息,很难判断 v0.9.5 的性能或质量。判断的依据最好另行核对发布说明与实际训练结果。