openbmb/minicpm-v 是一个多模态(同时处理多种形态输入)模型项目,把图像、视频、语音等非文本输入与语言一起处理。仓库中同时收录了看图并理解图像的 MiniCPM-V,以及接收视频与音频并实时说话的 MiniCPM-o。GitHub 仓库 openbmb/minicpm-v 的最新发布版本为 20250527。
README 整理出的模型分为两条线。MiniCPM-V 4.7 负责图像、视频与文档理解;MiniCPM-o 4.5 是 9B 的端到端(从输入到输出一次贯通处理)全模态(在一个模型中处理语音、视频与文本)模型,接收视频与音频输入,并同时生成语音与文本。MiniCPM-V 4.7 提供 35B-A3B MoE 与 1B 两种变体,MoE(Mixture of Experts)把模型拆成多个 expert,只对其中一部分进行计算。仓库说明强调在本地设备上观看、聆听并交互的用途。项目用 Python 编写,许可证为 Apache-2.0,创建于 2024 年 1 月 29 日。星标数为 26919。
不过,这里能够作出判断的范围有限。给出的信息中没有 20250527 版本的变更明细与发布说明,因此无法确认这个版本改动了什么。也没有给出性能基准测试、导入案例或模型之间的对比数值。评估分数只填了 10 分满分中的动量 5.9 分,新颖性、技术与质量分数均未提供。图像理解的准确率或语音生成质量达到什么程度,仅凭这份材料无法得知。现在更适合把它作为一类种类与规模已确认的模型组合记录下来,具体改动与性能则应结合发布说明与自行测量来判断。