github.devotd.
새 소식멀티모달

zai-org/cogvideo v1.0 — 텍스트·이미지 기반 동영상 생성

zai-org/cogvideo의 최신 릴리스 v1.0과 CogVideo·CogVideoX의 생성 기능 및 제공 도구를 다룬다.

저장소 정보zai-org/cogvideo ↗

text and image to video generation: CogVideoX (2024) and CogVideo (ICLR 2023)

스타
★ 13.1K
포크
1.4K
언어
Python
라이선스
Apache-2.0
최신 릴리스
v1.0
원문 보기 ↗GitHub에서 보기 ↗

zai-org/cogvideo는 CogVideo와 CogVideoX 동영상 생성 모델의 공식 코드 저장소다. CogVideo는 ICLR 2023 모델이며 CogVideoX는 2024년 모델이다. 저장소에 기록된 최신 릴리스는 v1.0이다. 주어진 자료에는 이 릴리스에서 바뀐 내용이 없어, 버전 외에 새로 추가되거나 수정된 기능을 특정할 수 없다.

프로젝트는 텍스트나 이미지를 조건으로 동영상을 생성하는 모델과 관련 코드를 제공한다. CogVideoX 계열은 텍스트-동영상 생성과 이미지-동영상 생성뿐 아니라, 입력 동영상의 흐름을 이어 생성하는 작업도 지원한다. 공개 모델은 CogVideoX-2B와 CogVideoX-5B다. README에는 Diffusers와 SAT를 이용한 추론 및 파인튜닝 예제가 안내되어 있다. Colab 자료와 모델 변환, 캡션 생성 도구도 포함된다. 구현 언어는 Python이고 라이선스는 Apache-2.0이다. 따라서 모델만 공개하는 저장소가 아니라, 생성과 파인튜닝에 필요한 예제 및 보조 도구까지 함께 제공하는 코드 저장소다.

다만 주어진 자료에는 v1.0의 변경 목록이나 모델별 성능 측정값이 없다. 모델 이름과 지원 작업은 확인할 수 있지만, 어느 모델이 어떤 조건에서 더 나은 결과를 내는지는 이 자료만으로 판단할 수 없다. 릴리스의 구체적 변화나 성능을 평가하려면 별도의 근거가 필요하다.