github.devotd.
새 소식멀티모달

genmoai/mochi — Apache-2.0 공개 가중치 동영상 생성 모델

genmoai/mochi는 Apache-2.0 라이선스로 공개된 Mochi 1 텍스트 조건 비디오 생성 모델 저장소이며, 단일 GPU 실행에는 약 60GB의 VRAM이 필요하다.

저장소 정보genmoai/mochi ↗

genmoai/mochi는 Apache-2.0 라이선스로 공개된 Mochi 1 텍스트 조건 비디오 생성 모델 저장소이며, 단일 GPU 실행에는 약 60GB의 VRAM이 필요하다.

GitHub 설명: The best OSS video generation models, created by Genmo

스타
★ 3.8K
포크
495
언어
Python
라이선스
Apache-2.0
원문 보기 ↗GitHub에서 보기 ↗

genmoai/mochi는 입력한 문장에 맞춰 동영상을 만드는 비디오 생성 모델 저장소다. Apache-2.0 라이선스로 Mochi 1의 가중치와 텍스트 조건 비디오 생성 모델, VAE와 추론 구현이 함께 공개됐다. Python으로 작성됐고 별 수는 3752개다. 공개된 릴리스 버전은 확인되지 않고, 저장소는 2024년 9월 11일 만들어졌다.

README는 Mochi 1이 움직임의 충실도와 프롬프트 반영력을 보였다고 설명한다. 텍스트 조건 생성이란 입력한 문장이 영상 내용을 정하는 방식이고, 프롬프트 반영력은 그 문장이 영상에 잘 반영됐는지를 가리킨다. 모델은 100억 개 매개변수의 AsymmDiT 아키텍처를 쓰며, AsymmDiT는 확산 트랜스포머(Diffusion Transformer) 구조를 뜻한다. 영상 생성은 Gradio UI, CLI, API 세 경로로 제공되고, VAE(Variational Autoencoder, 데이터를 압축된 표현으로 바꾸고 복원하는 오토인코더)와 추론 구현이 들어 있다. 자체 영상 데이터를 이용한 LoRA(Low-Rank Adaptation, 학습된 가중치에 적은 파라미터로 새 특성을 덧붙이는 방식) 파인튜닝도 지원한다.

다만 실행에 필요한 자원이 크다. README 기준으로 단일 GPU에서 돌리려면 약 60GB의 VRAM이 필요하다. 움직임 충실도와 프롬프트 반영력은 README가 밝힌 예비 평가 결과다. 독립 측정한 수치와 성능 벤치마크, 다른 동영상 모델과의 비교 수치는 이 기록에 없다. 기록된 관심도(momentum) 지수는 10점 만점에 2.5이고 신선성·기술·품질 점수는 비어 있다. 여유 있는 하드웨어에서 직접 확인할 대상이며, 그 이상의 판단은 더 많은 근거가 따라야 한다.