Devotd Github
새 소식멀티모달

mcg-nju/videojev — 후보 점수화 기반 영상 이해 모델

mcg-nju/videojev는 텍스트 생성 없이 후보를 점수화해 시간적 위치 찾기와 객관식 영상 질의응답을 수행하는 VideoJev 저장소다.

저장소 정보mcg-nju/videojev ↗

mcg-nju/videojev는 텍스트 생성 없이 후보를 점수화해 시간적 위치 찾기와 객관식 영상 질의응답을 수행하는 VideoJev 저장소다.

GitHub 설명: VideoJev: System One Model for Video Understanding and Interaction

스타
★ 272
포크
10
언어
Python
라이선스
Apache-2.0
원문 보기 ↗GitHub에서 보기 ↗

mcg-nju/videojev는 영상 이해와 상호작용을 위한 시스템 모델 VideoJev의 공개 저장소다. FACTS에는 2026년 10월 8일 생성된 것으로 기록되어 있으며, 공개된 최신 릴리스는 없다. 따라서 특정 버전의 변경 사항이 아니라 저장소에 소개된 모델과 접근 방식이 핵심이다. VideoJev는 답변 문장을 생성하는 대신 후보를 직접 점수화해 영상 문제를 다룬다.

이 방식은 시간적 위치 찾기와 객관식 영상 질의응답에 적용된다. 시간적 위치 찾기(temporal grounding)는 영상에서 질문이나 설명에 해당하는 구간을 찾는 작업이다. 객관식 질의응답은 주어진 보기 가운데 답을 고르는 방식이다. README에는 VideoJev-4B와 VideoJev-35B-A3B가 소개되어 있고, 데이터 준비와 학습, 추론 및 평가 방법도 설명되어 있다. 두 문제를 텍스트 생성 없이 후보 점수 계산으로 처리한다는 점이 이 저장소의 중심적인 특징이다. 저장소에는 관련 결과 표가 논문과 함께 제시되며, papers with code 배지도 포함되어 있다. 이 프로젝트는 Python으로 작성됐고 Apache-2.0 라이선스를 사용한다.

다만 성능 수치는 저장소에서 직접 재현해 확인한 결과가 아니다. 결과 표는 논문에 실린 이미지로 제공되며, 실행 검증도 확인되지 않았다. 따라서 공개된 모델 구성과 평가 자료는 접근 방식의 단서를 주지만, 이 정보만으로 실제 성능을 독립적으로 판단하기는 어렵다.