github.devotd.
새 소식멀티모달

facebookresearch/audiocraft — PyTorch 오디오 생성·압축 라이브러리

facebookresearch/audiocraft는 EnCodec 오디오 압축기와 MusicGen 음악 생성 모델의 추론·학습 코드를 담은 MIT 라이선스의 PyTorch 연구 라이브러리다.

저장소 정보facebookresearch/audiocraft ↗

facebookresearch/audiocraft는 EnCodec 오디오 압축기와 MusicGen 음악 생성 모델의 추론·학습 코드를 담은 MIT 라이선스의 PyTorch 연구 라이브러리다.

GitHub 설명: facebookresearch/audiocraft

스타
★ 23.8K
포크
0
언어
Jupyter Notebook
원문 보기 ↗GitHub에서 보기 ↗

facebookresearch/audiocraft는 오디오 처리와 생성을 위한 딥러닝 연구용 PyTorch 라이브러리다. 저장소 설명과 README는 이 프로젝트가 AudioGen과 MusicGen의 추론 및 학습 코드를 포함한다고 밝힌다. MIT 라이선스로 배포되고 GitHub에서 별 23751개를 받았다. 저장소가 표시하는 주 언어는 Jupyter Notebook이고 생성일은 2023년 6월 8일이다. 공개된 정식 릴리스 버전은 확인되지 않는다.

무엇을 하는지부터 보면, 이 라이브러리는 환경음과 음악의 생성 모델을 다루며 오디오 딥러닝 연구를 위한 PyTorch 구성요소와 모델 학습 파이프라인을 제공한다. 중심이 되는 것은 EnCodec과 MusicGen이다. EnCodec은 오디오 압축기이자 토크나이저로, 파형을 모델이 다루기 쉬운 심볼 단위로 바꿔 준다. MusicGen은 텍스트와 멜로디를 조건으로 삼아 음악을 생성하는 언어 모델(LM)이며, 저장소 설명은 이를 단순하고 제어 가능한 음악 생성 모델로 소개한다. README는 EnCodec 외에도 Multi Band Diffusion, MAGNeT, AudioSeal, MusicGen Style, JASCO를 함께 다룬다고 밝힌다.

확인해 둘 경계가 있다. 공개된 릴리스 정보가 없어 AudioGen과 MusicGen 코드가 어느 시점의 상태인지 추적하기 어렵고, GitHub가 표시하는 주 언어가 Jupyter Notebook이어서 코드의 중심이 패키지인지 예제인지 이 정보만으로 확정하기 어렵다. 별 23751개는 관심의 척도일 뿐 품질을 보증하지 않는다. 성능 비교 수치는 없고, 점수화된 항목 가운데 관성만 3.1(10점 만점)으로 낮으며 신선성·기술·품질 점수는 주어지지 않았다. 문서된 범위만 보면, 오디오 생성 연구를 시작할 때 EnCodec과 MusicGen을 함께 살펴볼 만한 연구용 코드 묶음에 가깝다.