github.devotd.

多模态运行时推理

主要专用于图像、音频、视频、视觉语言或综合多模态模型的可复用执行引擎。先应用 llm-inference 定义的完整引擎部署及硬件优先级。不包括模型发布、训练工具、终端用户媒体流程,以及仅附带多模态支持的通用引擎。

该领域的项目 (2)
项目用途Star语言许可证最新版本
flashml-org/freevideo一款在消费级 GPU 上高效运行 MiniMax H3 视频模型的本地推理引擎。★ 2.1KPythonApache-2.0v0.4.14
nyosegawa/speech.cpp基于 ggml 在多种硬件后端上运行语音合成、识别和 VAD 模型。★ 180C++MITv0.8.10