Devotd Github
새 소식멀티모달

tencent-hunyuan/omnicapbench — 오디오·영상 캡션 평가 프레임워크

tencent-hunyuan/omnicapbench는 오디오와 영상 설명을 구조화된 단위로 나눠 평가하는 Python 프레임워크다.

저장소 정보tencent-hunyuan/omnicapbench ↗

tencent-hunyuan/omnicapbench는 오디오와 영상 설명을 구조화된 단위로 나눠 평가하는 Python 프레임워크다.

GitHub 설명: [NeurIPS 2026] OmniCapBench: A Deep-Structured Evaluation Framework for Fine-Grained Audio-Visual Captioning

스타
★ 7
포크
0
언어
Python
라이선스
Apache-2.0
원문 보기 ↗GitHub에서 보기 ↗

tencent-hunyuan/omnicapbench는 오디오와 영상을 함께 다루는 캡션 평가 프레임워크다. 저장소는 영상 설명을 개체 참조, 시각 장면, 오디오 사건으로 나눠 검증하는 도구와 평가 자료를 소개한다. 저장소 설명에는 NeurIPS 2026이 표기돼 있으며, 최신 릴리스 버전은 제공된 정보에 없다. Python으로 작성됐고 Apache-2.0 라이선스를 사용한다.

이 프레임워크는 캡션 전체에 단일 점수를 매기는 대신, 설명을 확인할 수 있는 단위로 나눠 어디에서 차이가 생겼는지 살피도록 구성됐다. 검증 단계에서 각 단위의 구조와 시간 범위, 트랙 간 연결을 확인하고, 이어 시간에 맞춰 정렬된 단위별 의미를 평가한다. 따라서 전체 점수만으로는 드러나기 어려운 오류 위치를 살펴보는 데 초점을 둔다. README가 소개하는 자료는 영상 786개와 참조 5,818개, 장면 11,419개, 하위 장면 39,160개, 오디오 사건 6,537개로 구성된다. 주석 작성 절차와 점수 도구의 설치 및 사용 예도 README에 안내돼 있다.

다만 제공된 FACTS에는 다른 평가 프레임워크와의 비교나 실제 도입 사례가 제시돼 있지 않다. GitHub 스타는 7개다. 따라서 구조화된 오디오·영상 캡션 평가가 어떤 단위와 절차를 다루는지 참고할 수 있지만, 이 정보만으로 성능이나 현장 적용성을 판단하기는 어렵다.