멀티모달 런타임 추론
이미지, 오디오, 영상, 비전-언어 또는 통합 멀티모달 모델에 주로 특화된 재사용 실행 엔진입니다. llm-inference에 정의한 완전한 엔진의 배포·하드웨어 우선순위를 먼저 적용합니다. 모델 릴리스, 학습 도구, 사용자용 미디어 워크플로 및 멀티모달을 부가 지원하는 범용 엔진은 제외합니다.
| 프로젝트 | 하는 일 | 스타 | 언어 | 라이선스 | 최근 릴리스 |
|---|---|---|---|---|---|
| flashml-org/freevideo | MiniMax H3 비디오 모델을 소비자 GPU에서 효율적으로 실행하는 로컬 추론 엔진입니다. | ★ 2.1K | Python | Apache-2.0 | v0.4.14 |
| nyosegawa/speech.cpp | ggml 위에서 음성 합성·인식·VAD 모델을 여러 하드웨어 백엔드로 실행한다. | ★ 180 | C++ | MIT | v0.8.10 |