llava-vl/llava-next는 GitHub에 공개된 LLaVA-NeXT 대형 멀티모달 모델 프로젝트다. 이미지·비디오 이해와 다중 이미지 과제를 다루는 비전·언어 모델 구현과 추론·평가 자료를 함께 담고 있다. 2024년 3월 8일 만들어진 Python 저장소다.
멀티모달 모델(multimodal model)은 이미지와 영상 같은 시각 정보와 언어를 함께 다루는 모델이다. 이 저장소는 LLaVA-OneVision, LLaVA-Video, LLaVA-NeXT-Interleave 세 모델을 통해 단일 이미지, 다중 이미지, 비디오, 3D 과제를 다룬다. 다중 이미지 과제는 여러 장의 이미지를 함께 다루는 과제다. 3D 과제는 3차원 정보를 다루는 과제다.
Apache-2.0 라이선스로 공개됐고 GitHub 스타는 4730개다. README는 학습 파이프라인을 기존 방식으로 분류해 두고 최신 학습 파이프라인은 lmms-engine을 안내한다.
다만 제공된 정보로 판단할 수 있는 범위는 좁다. 성능 수치와 벤치마크 결과는 없고 10점 만점 평가 기록은 신흥성·기술·품질 항목이 비어 있으며 모멘텀 항목만 0.0이다. 릴리스 기록도 없어 버전 단위 배포 이력은 확인할 수 없다. 어느 모델이 더 나은지는 이 정보만으로 판단하기 어렵다.