axolotl-ai-cloud/axolotl 是一个通过配置文件(YAML)来运行 LLM 训练与微调的开源框架。它使用 Python 编写,并以 Apache-2.0 许可证发布。目前可确认的最新版本是 v0.21.0,但由于未提供该版本的发布说明,具体变更的功能与修复内容无法确定。
README 表示该项目是一个免费的开源 LLM 微调工具,并介绍了包含 LoRA 和 QLoRA 在内的训练配置以及分布式训练功能。LoRA 是一种只学习额外权重、而不直接更新超大模型原有权重的微调方式,QLoRA 则是在权重被压缩到较少比特位的情况下叠加 LoRA 进行训练。将训练拆分到多个设备上处理的分布式训练也在 YAML 配方中有所涵盖。YAML 配方是用文本记录模型、数据和训练方式的配置文件,因此训练配置集中在一处。该仓库的星标数量为 12603。
不过,给出的记录中没有用于比较性能的基准测试数据。在评分项中只有「动量」填写了 3.2,而「新颖性」「技术」「质量」等分项均为空白,因此尚难判断它与其他微调工具有多大差异。该仓库创建于 2023 年 4 月 14 日,可确认的依据仅到仓库介绍和最新版本号为止。结合 Apache-2.0 许可证与以 YAML 配方为中心的结构来看,对于已经具备训练流水线的团队,这值得纳入评估范围。