github.devotd.
新发现多模态

vast-ai-research/edenlive — 面向交互式世界的实时生成渲染器

vast-ai-research/edenlive 将世界状态与外观渲染分离,基于参考视频和句子指令生成帧。

仓库信息vast-ai-research/edenlive ↗

Real-time generative rendering for interactive worlds, from any reference.

星标
★ 131
复刻
5
语言
Python
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

vast-ai-research/edenlive 是一个实时生成渲染器,根据参考视频和句子指令为交互式世界生成帧。世界的状态变化由编码智能体或引擎处理,EdenLive 负责渲染画面外观。本次公开的版本信息在 FACTS 中没有,仓库说明给出了将状态处理与渲染分离的结构。

在这一结构中,引擎把自己生成的参考视频与目标首帧和句子指令关联起来,制作出细节丰富的画面。项目采用 Apache-2.0 许可,并在 Hugging Face 上公开 5B 与 14B 权重。公开内容包括用于双向推理和少步推理的权重、实时流式推理代码、用于尝试操作句子指令的游戏技能,以及用于查看整体流程的前端。项目页面给出 480P 与 720P 输出以及超过每秒 24 帧的播放,并介绍了 5B 模型的 720P 单 GPU 批量设置。

不过文档中记录的验证环境是 Linux x86-64、80GB NVIDIA GPU 和 Python 3.10。RTX 5090 单卡上 1280x704 分辨率约每秒 24.7 帧这一数值,仅限于 LightX2V 联动章节的表格。因此,与其把它当作普通消费级显卡的性能,不如把它看作在公开环境与联动条件下提出的结果更为准确。