github.devotd.
新发现多模态

genmoai/mochi — 以 Apache-2.0 公开权重的视频生成模型

genmoai/mochi 是以 Apache-2.0 许可证公开的 Mochi 1 文本条件视频生成模型仓库,单 GPU 运行大约需要 60GB 显存。

仓库信息genmoai/mochi ↗

genmoai/mochi 是以 Apache-2.0 许可证公开的 Mochi 1 文本条件视频生成模型仓库,单 GPU 运行大约需要 60GB 显存。

GitHub 项目说明: The best OSS video generation models, created by Genmo

星标
★ 3.8K
复刻
495
语言
Python
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

genmoai/mochi 是一个根据输入句子生成视频的视频生成模型仓库。以 Apache-2.0 许可证公开了 Mochi 1 的权重、文本条件视频生成模型、VAE 以及推理实现。项目使用 Python 编写,star 数为 3752。没有可确认的公开发布版本,仓库创建于 2024 年 9 月 11 日。

README 说明 Mochi 1 展现了动作的忠实度和提示词贴合度。文本条件生成是指由输入句子决定视频内容的方式,而提示词贴合度指的是该句子在视频中体现得有多好。模型采用 100 亿参数的 AsymmDiT 架构,AsymmDiT 即扩散 Transformer(Diffusion Transformer)结构。视频生成通过 Gradio UI、CLI 和 API 三条路径提供,并内置 VAE(Variational Autoencoder,变分自编码器,把数据转换为压缩表示并还原的自动编码器)与推理实现。还支持使用自有视频数据进行 LoRA(Low-Rank Adaptation,低秩适配,用少量参数为已训练权重添加新特性的方式)微调。

不过,运行所需的资源相当大。按照 README 的说法,在单张 GPU 上运行大约需要 60GB 显存。动作忠实度和提示词贴合度是 README 给出的初步评估结果。该记录中没有独立测量的数值、性能基准测试,也没有与其他视频模型的对比数据。记录的动量(momentum)指数为 10 分制下的 2.5,新鲜度、技术与质量分项均为空。它适合在硬件宽裕时直接验证,进一步的判断则需要更多依据。