github.devotd.
새 소식추론/서빙

opennmt/ctranslate2 v4.8.3 — CPU·GPU용 Transformer 추론

opennmt/ctranslate2의 최신 릴리스 v4.8.3과 CPU·GPU에서 Transformer 모델을 추론하는 라이브러리의 기능을 소개한다.

저장소 정보opennmt/ctranslate2 ↗

opennmt/ctranslate2의 최신 릴리스 v4.8.3과 CPU·GPU에서 Transformer 모델을 추론하는 라이브러리의 기능을 소개한다.

GitHub 설명: Fast inference engine for Transformer models

스타
★ 4.7K
포크
546
언어
C++
라이선스
MIT
최신 릴리스
v4.8.3
원문 보기 ↗GitHub에서 보기 ↗

opennmt/ctranslate2는 Transformer 모델의 추론을 위한 C++·Python 라이브러리다. GitHub 저장소에 기록된 최신 릴리스는 v4.8.3이다. 다만 제공된 자료에는 이 버전에서 바뀐 내용이 없어 구체적인 수정 사항은 확인할 수 없다. 이 프로젝트는 여러 Transformer 아키텍처를 최적화 형식으로 CPU와 GPU에서 로컬 실행하는 데 초점을 둔다.

추론 과정에서는 가중치 양자화, 레이어 융합, 배치 재정렬을 활용해 실행 속도를 높이고 메모리 사용량을 줄이는 것을 목표로 한다. 지원 범위는 인코더-디코더, 디코더 전용, 인코더 전용 모델이다. OpenNMT-py, OpenNMT-tf, Fairseq, Marian, OPUS-MT, Transformers용 변환기도 제공해 호환 모델을 최적화 형식으로 바꿀 수 있다. 따라서 범용 학습 프레임워크라기보다 여러 출처의 Transformer 모델을 추론에 맞게 실행하는 라이브러리에 가깝다. 저장소의 라이선스는 MIT다.

README에는 속도 향상과 메모리 절감 기능이 설명되어 있지만, 제공된 자료에는 성능 측정 결과나 v4.8.3의 변경 내역이 없다. 그러므로 이 릴리스의 구체적인 개선점이나 실제 환경에서의 이득은 자료만으로 판단하기 어렵다.