tencent-hunyuan/omnicapbench は音声と映像を同時に扱うキャプショ評価フレームワークである。このリポジトリは、映像説明を物体参照、視覚シーン、音声イベントに分割して検証するツールと評価データを紹介している。リポジトリの説明には NeurIPS 2026 と記載され、提供された情報には最新のリリースバージョンが示されていない。Python で書かれ、ライセンスは Apache-2.0 である。
このフレームワークは、キャプション全体に対して単一のスコアを与えるのではなく、説明を検証できる単位に分割し、どこで差異が生じたかを確認できるように構成されている。検証段階では各単位の構造と時間範囲、トラック間のつながりを確認し、続いて時間に合わせて整列した単位ごとの意味を評価する。つまり総合スコアだけでは明らかにならない誤りの位置を調べることに重点を置く。README が紹介するデータは、映像 786 個、参照 5,818 件、シーン 11,419 件、サブシーン 39,160 件、音声イベント 6,537 件からなる。注釈付けの手順とスコアツールのインストールおよび使用例も README 负责任に説明されている。
ただし、提示された FACTS には他の評価フレームワークとの比較や実際の導入事例は示されていない。GitHub のスター数は 7 である。したがって、構造化された音声・映像キャプショ評価がどの単位と手順を扱うかを知る参考にはできるが、この情報だけで性能や現場での適用性を判断するのは難しい。