llava-vl/llava-next は GitHub で公開されている LLaVA-NeXT の大きなマルチモーダルモデルプロジェクトである。画像・動画理解と複数画像タスクを扱う視覚-言語モデルの実装と、推論・評価の資料をまとめて収録している。2024 年 3 月 8 日に作成された Python リポジトリだ。
マルチモーダルモデル(multimodal model)は、画像や動画のような視覚情報と言語を合わせて扱うモデルである。このリポジトリでは LLaVA-OneVision、LLaVA-Video、LLaVA-NeXT-Interleave の 3 つのモデルを通じて、単一画像、複数画像、動画、3D のタスクを扱う。複数画像タスクは複数の画像をまとめて扱うタスク、3D タスクは三次元情報を扱うタスクである。
ライセンスは Apache-2.0 で公開されており、GitHub スターは 4730 個である。README は学習パイプラインを従来的な方式で分類整理しており、最新の学習パイプラインについては lmms-engine を案内している。
ただし、提示された情報から判断できる範囲は狭い。性能の数値もベンチマーク結果もなく、10 点満点基準の評価記録では新しさ・技術・品質の各項目は空欄で、モメンタムのみが 0.0 となっている。リリース記録もなく、バージョン単位の配布履歴は確認できない。どのモデルが優れているかは、この情報だけでは判断しにくい。