llava-vl/llava-next 是公开在 GitHub 上的 LLaVA-NeXT 大型多模态模型项目。仓库同时收录了处理图像与视频理解以及多图任务的视觉-语言模型实现,以及推理与评估资料。它是一个创建于 2024 年 3 月 8 日的 Python 仓库。
多模态模型(multimodal model)是同时处理图像、影像等视觉信息与语言的模型。该仓库通过 LLaVA-OneVision、LLaVA-Video、LLaVA-NeXT-Interleave 三个模型,覆盖单图、多图、视频和 3D 任务。多图任务指同时处理多张图像的任务,3D 任务指处理三维信息的任务。
仓库以 Apache-2.0 许可证公开,GitHub 星标数为 4730。README 将训练流水线按既有方式分类整理,最新的训练流水线则指向 lmms-engine。
不过,仅凭所提供的信息能判断的范围很窄。没有性能数值与基准测试结果,10 分制评估记录中的新鲜度、技术、质量各项均为空,只有动量一项为 0.0。也没有发布记录,因此无法确认逐版本的发布历史。仅凭这些信息也难以判断哪个模型更好。