github.devotd.
新发现大语言模型基础设施

huggingface/peft v0.21.2 —— 只训练部分参数的微调库

梳理 huggingface/peft 的最新版本 v0.21.2、只训练部分参数以降低微调成本的 PEFT 库的作用,以及所提供信息中未包含的变更内容。

仓库信息huggingface/peft ↗

梳理 huggingface/peft 的最新版本 v0.21.2、只训练部分参数以降低微调成本的 PEFT 库的作用,以及所提供信息中未包含的变更内容。

GitHub 项目说明: 🤗 PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.

星标
★ 21.8K
复刻
2.6K
语言
Python
许可证
Apache-2.0
最新版本
v0.21.2
查看原始来源 ↗在 GitHub 查看 ↗

huggingface/peft 是一个参数高效微调(Parameter-Efficient Fine-Tuning,PEFT)库,只额外训练大型预训练模型的部分参数,使其适配新任务。GitHub 上可见的最新版本是 v0.21.2。不过所提供的发布信息中没有该版本的变更项清单,因此仅凭这些信息无法得知具体改动。

该库的理念是像 LoRA 那样只更新部分权重,而不重新训练全部权重,从而同时降低计算成本和存储成本。仓库的 README 说明,最新的 PEFT 技术可以达到与全参数微调相当的性能。它与 Transformers、Diffusers、Accelerate 集成,支持模型训练与推理、适配器管理、分布式训练和推理。这是一个采用 Apache-2.0 许可的 Python 项目,GitHub 星标数为 21817,仓库创建于 2022-11-25。

不过仍有一些无法确认之处。v0.21.2 具体改动了什么,必须直接阅读发布说明才能知道;针对该仓库算出的指数只有动量指数(momentum)3.1,未给出新鲜度、技术和质量方面的分数。不能以性能对比或采用案例的扩散作为依据,也不能仅凭版本号就认为加入了新功能。在确认变更内容之前,无法判断该版本的实际意义。