多模态运行时推理
主要专用于图像、音频、视频、视觉语言或综合多模态模型的可复用执行引擎。先应用 llm-inference 定义的完整引擎部署及硬件优先级。不包括模型发布、训练工具、终端用户媒体流程,以及仅附带多模态支持的通用引擎。
| 项目 | 用途 | Star | 语言 | 许可证 | 最新版本 |
|---|---|---|---|---|---|
| flashml-org/freevideo | 一款在消费级 GPU 上高效运行 MiniMax H3 视频模型的本地推理引擎。 | ★ 2.1K | Python | Apache-2.0 | v0.4.14 |
| nyosegawa/speech.cpp | 基于 ggml 在多种硬件后端上运行语音合成、识别和 VAD 模型。 | ★ 180 | C++ | MIT | v0.8.10 |