huggingface/peft 是一个参数高效微调(Parameter-Efficient Fine-Tuning,PEFT)库,只额外训练大型预训练模型的部分参数,使其适配新任务。GitHub 上可见的最新版本是 v0.21.2。不过所提供的发布信息中没有该版本的变更项清单,因此仅凭这些信息无法得知具体改动。
该库的理念是像 LoRA 那样只更新部分权重,而不重新训练全部权重,从而同时降低计算成本和存储成本。仓库的 README 说明,最新的 PEFT 技术可以达到与全参数微调相当的性能。它与 Transformers、Diffusers、Accelerate 集成,支持模型训练与推理、适配器管理、分布式训练和推理。这是一个采用 Apache-2.0 许可的 Python 项目,GitHub 星标数为 21817,仓库创建于 2022-11-25。
不过仍有一些无法确认之处。v0.21.2 具体改动了什么,必须直接阅读发布说明才能知道;针对该仓库算出的指数只有动量指数(momentum)3.1,未给出新鲜度、技术和质量方面的分数。不能以性能对比或采用案例的扩散作为依据,也不能仅凭版本号就认为加入了新功能。在确认变更内容之前,无法判断该版本的实际意义。