Devotd Github
新发现多模态

mcg-nju/videojev — 基于候选打分的视频理解模型

mcg-nju/videojev 是 VideoJev 仓库,它在不生成文本的情况下对候选进行打分,以完成时间定位和多项选择视频问答。

仓库信息mcg-nju/videojev ↗

mcg-nju/videojev 是 VideoJev 仓库,它在不生成文本的情况下对候选进行打分,以完成时间定位和多项选择视频问答。

GitHub 项目说明: VideoJev: System One Model for Video Understanding and Interaction

星标
★ 272
复刻
10
语言
Python
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

mcg-nju/videojev 是用于视频理解与交互的系统模型 VideoJev 的公开仓库。FACTS 中记录其创建于 2026 年 10 月 8 日,并且没有公开的最新发布版本。因此,核心内容并非某个特定版本的变更,而是仓库中介绍的模型与方法。VideoJev 不生成答案语句,而是直接为候选项打分来处理视频问题。

该方式适用于时间定位和多项选择视频问答。时间定位(temporal grounding)是在视频中找出与问题或描述相对应片段的任务。多项选择问答则是从给定选项中选出答案的方式。README 中介绍了 VideoJev-4B 和 VideoJev-35B-A3B,并说明了数据准备与训练、推理和评估方法。以候选打分计算来处理这两类问题而不生成文本,正是本仓库的核心特点。仓库还随论文一起给出相关结果表,并包含 papers with code 徽章。该项目使用 Python 编写,采用 Apache-2.0 许可证。

不过,这些性能数字并非在仓库中直接复现并确认的结果。结果表以论文中的图片形式提供,运行验证也未得到确认。因此,公开的模型配置与评估资料只能为方法提供线索,仅凭这些信息难以独立判断实际性能。