github.devotd.
新发现多模态

zai-org/cogvideo v1.0 — 基于文本和图像的视频生成

介绍 zai-org/cogvideo 的最新版本 v1.0,以及 CogVideo、CogVideoX 的生成能力和仓库提供的工具。

仓库信息zai-org/cogvideo ↗

text and image to video generation: CogVideoX (2024) and CogVideo (ICLR 2023)

星标
★ 13.1K
复刻
1.4K
语言
Python
许可证
Apache-2.0
最新版本
v1.0
查看原始来源 ↗在 GitHub 查看 ↗

zai-org/cogvideo 是 CogVideo 和 CogVideoX 视频生成模型的官方代码仓库。CogVideo 是 ICLR 2023 的模型,CogVideoX 是 2024 年的模型。仓库记录的最新版本是 v1.0。给定资料中没有该版本的变更内容,因此除版本号之外,无法确定新增或修改了哪些功能。

该项目提供以文本或图像为条件生成视频的模型及相关代码。CogVideoX 系列不仅支持文本生成视频和图像生成视频,还支持延续输入视频的运动进行生成。公开的模型是 CogVideoX-2B 和 CogVideoX-5B。README 中提供了使用 Diffusers 和 SAT 进行推理与微调的示例说明。此外还包含 Colab 资料,以及模型转换和字幕生成工具。实现语言为 Python,许可证为 Apache-2.0。因此,这并非一个仅发布模型的仓库,而是同时提供生成与微调所需示例及辅助工具的代码仓库。

不过,给定资料中没有 v1.0 的变更清单,也没有各模型的性能指标。模型名称和支持的任务可以确认,但哪个模型在何种条件下效果更好,仅凭这些资料无法判断。要评估某个版本的具体变化或性能,需要另外的依据。