Devotd Github
새 소식LLM 인프라

axolotl-ai-cloud/axolotl v0.21.0 — YAML 레시피 기반 LLM 미세조정 도구

YAML 레시피로 LoRA·QLoRA와 분산 학습을 실행하는 오픈소스 LLM 미세조정 프레임워크 axolotl-ai-cloud/axolotl의 최신 릴리스는 v0.21.0이다.

저장소 정보axolotl-ai-cloud/axolotl ↗

YAML 레시피로 LoRA·QLoRA와 분산 학습을 실행하는 오픈소스 LLM 미세조정 프레임워크 axolotl-ai-cloud/axolotl의 최신 릴리스는 v0.21.0이다.

GitHub 설명: Go ahead and axolotl questions

스타
★ 12.6K
포크
1.5K
언어
Python
라이선스
Apache-2.0
최신 릴리스
v0.21.0
원문 보기 ↗GitHub에서 보기 ↗

axolotl-ai-cloud/axolotl은 설정 파일(YAML)로 LLM 학습과 미세조정을 실행하는 오픈소스 프레임워크다. 파이썬으로 작성됐고 Apache-2.0 라이선스로 공개돼 있다. 현재 확인되는 최신 릴리스는 v0.21.0인데, 이 버전의 릴리스 노트가 주어지지 않아 바뀐 기능과 수정 내역은 특정할 수 없다.

README는 이 프로젝트가 무료 오픈소스 LLM 파인튜닝 도구라고 밝히고, LoRA와 QLoRA를 포함한 학습 설정과 분산 학습 기능을 안내한다. LoRA는 거대한 모델의 기존 가중치를 그대로 갱신하지 않고 추가 가중치만 학습해 미세조정하는 방식이고, QLoRA는 가중치를 적은 비트 수로 압축한 상태에서 LoRA를 얹어 학습하는 방식이다. 학습을 여러 장치에 나눠 처리하는 분산 학습도 YAML 레시피에서 다룬다. YAML 레시피는 모델과 데이터, 학습 방식을 텍스트로 적어 둔 설정 파일이라 학습 구성이 한곳에 모인다. 저장소의 별 개수는 12603개다.

다만 성능을 비교한 벤치마크 수치는 주어진 기록에 없다. 점수 항목 중 모멘텀만 3.2로 채워 있고 신규성·기술·품질 점수는 비어 있어, 다른 미세조정 도구와 얼마나 다른지는 판단하기 이르다. 저장소는 2023년 4월 14일에 생성됐고, 확인 가능한 근거는 저장소 소개와 최신 릴리스 번호까지다. Apache-2.0 라이선스와 YAML 레시피 중심 구조를 함께 보면 학습 파이프라인을 이미 갖춘 팀이 검토할 만한 범위다.