github.devotd.
새 소식AI

allenai/olmo-core v3.0.0 — OLMo 모델군 공식 PyTorch 학습 라이브러리

OLMo 모델군의 공식 PyTorch 학습·추론 코드를 Python 라이브러리로 제공하는 저장소 allenai/olmo-core의 최신 릴리스는 v3.0.0이다.

저장소 정보allenai/olmo-core ↗

OLMo 모델군의 공식 PyTorch 학습·추론 코드를 Python 라이브러리로 제공하는 저장소 allenai/olmo-core의 최신 릴리스는 v3.0.0이다.

GitHub 설명: PyTorch building blocks for the OLMo ecosystem

스타
★ 1.7K
포크
351
언어
Python
라이선스
Apache-2.0
최신 릴리스
v3.0.0
원문 보기 ↗GitHub에서 보기 ↗

allenai/olmo-core의 최신 릴리스는 v3.0.0이다. 이 저장소는 OLMo 모델군을 위한 PyTorch 빌딩 블록(building blocks), 즉 모델링과 학습에 필요한 재사용 가능한 조각을 Python 라이브러리로 제공한다. README는 공개 모델의 공식 사전학습(pre-training) 스크립트와 Hugging Face Transformers를 이용한 체크포인트 추론 방법을 안내한다. 설치는 소스 코드나 PyPI에서 할 수 있다.

모델 한 개가 아니라 학습 파이프라인을 여러 조각으로 나눠 공개한 것이 이 저장소의 중심이다. 공개 언어 모델을 다시 학습하거나 체크포인트에서 추론하려면 모델 구조와 학습 단계를 어떤 순서로 조합할지 정해야 하는데, 이 라이브러리는 그 부분을 조각 단위의 코드로 정리해 놓았다. 라이선스는 Apache-2.0이고 주 언어는 Python이며 GitHub 스타는 1727개다. 저장소는 2024년 3월 23일 만들어졌다.

다만 수집된 자료에는 v3.0.0의 변경 내역이 없어서 이번 릴리스가 무엇을 바꿨는지는 확인할 수 없다. 기술·품질·참신성 점수는 비어 있고, 모멘텀(momentum) 점수만 10점 만점 기준 2.2에 그친다. 그래서 지금 판단할 수 있는 것은 공개된 학습·추론 코드를 있는 그대로 빌려 쓸 수 있다는 사실까지다. v3.0.0이 무엇을 개선했는지는 릴리스 노트를 직접 봐야 알 수 있다.