zai-org/cogvideo 是 CogVideo 和 CogVideoX 视频生成模型的官方代码仓库。CogVideo 是 ICLR 2023 的模型,CogVideoX 是 2024 年的模型。仓库记录的最新版本是 v1.0。给定资料中没有该版本的变更内容,因此除版本号之外,无法确定新增或修改了哪些功能。
该项目提供以文本或图像为条件生成视频的模型及相关代码。CogVideoX 系列不仅支持文本生成视频和图像生成视频,还支持延续输入视频的运动进行生成。公开的模型是 CogVideoX-2B 和 CogVideoX-5B。README 中提供了使用 Diffusers 和 SAT 进行推理与微调的示例说明。此外还包含 Colab 资料,以及模型转换和字幕生成工具。实现语言为 Python,许可证为 Apache-2.0。因此,这并非一个仅发布模型的仓库,而是同时提供生成与微调所需示例及辅助工具的代码仓库。
不过,给定资料中没有 v1.0 的变更清单,也没有各模型的性能指标。模型名称和支持的任务可以确认,但哪个模型在何种条件下效果更好,仅凭这些资料无法判断。要评估某个版本的具体变化或性能,需要另外的依据。