github.devotd.
새 소식LLM 인프라

huggingface/peft v0.21.2 — 일부 파라미터만 학습하는 미세 조정 라이브러리

huggingface/peft의 최신 릴리스 v0.21.2와, 일부 파라미터만 학습해 미세 조정 비용을 줄이는 PEFT 라이브러리의 역할, 그리고 제공된 정보에 없는 변경 항목을 정리한다.

저장소 정보huggingface/peft ↗

huggingface/peft의 최신 릴리스 v0.21.2와, 일부 파라미터만 학습해 미세 조정 비용을 줄이는 PEFT 라이브러리의 역할, 그리고 제공된 정보에 없는 변경 항목을 정리한다.

GitHub 설명: 🤗 PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.

스타
★ 21.8K
포크
2.6K
언어
Python
라이선스
Apache-2.0
최신 릴리스
v0.21.2
원문 보기 ↗GitHub에서 보기 ↗

huggingface/peft는 대규모 사전 학습 모델의 일부 파라미터만 추가로 학습해 새로운 작업에 맞추는 파라미터 효율적 미세 조정(Parameter-Efficient Fine-Tuning, PEFT) 라이브러리다. GitHub에서 확인되는 최신 릴리스는 v0.21.2다. 다만 제공된 릴리스 정보에는 이 버전의 변경 항목 목록이 없어, 무엇이 바뀌었는지는 이 정보만으로 알 수 없다.

이 라이브러리의 취지는 전체 가중치를 다시 학습하지 않고 LoRA처럼 일부 가중치만 갱신해 계산 비용과 저장 비용을 함께 줄이는 데 있다. 저장소의 README는 최신 PEFT 기법이 완전 미세 조정에 필적하는 성능을 낼 수 있다고 밝힌다. Transformers, Diffusers, Accelerate와 통합돼 모델 학습과 추론, 어댑터 관리, 분산 학습 및 추론을 지원한다. 라이선스는 Apache-2.0인 Python 프로젝트이며 GitHub 스타 수는 21817개, 저장소가 시작된 날짜는 2022-11-25다.

다만 확인되지 않은 지점이 있다. v0.21.2에서 무엇이 바뀌었는지는 릴리스 노트를 직접 읽어야 알 수 있고, 이 저장소에 대해 산정된 지수는 관성 지수(momentum) 3.1 하나로 신선성·기술·품질 점수는 주어지지 않는다. 성능 비교나 도입 사례 확산을 근거로 삼을 수는 없고, 버전 숫자만으로 새 기능이 실렸다고 읽을 여지도 없다. 변경 내용을 확인하기 전에는 이 릴리스가 갖는 실질적 의미를 판단할 수 없다.