openbmb/minicpm-v は画像・動画・音声のような非テキスト入力と言語をまとめて扱うマルチモーダル(異なる形式の入力を一緒に扱う)モデルプロジェクトだ。リポジトリには画像を見て理解する MiniCPM-V と、動画と音声を受け取ってリアルタイムで話す MiniCPM-o が併置されている。GitHub リポジトリ openbmb/minicpm-v の最新リリースは 20250527 だ。
README が整理するモデルは 2 系統ある。MiniCPM-V 4.7 は画像・動画・文書理解を担当し、MiniCPM-o 4.5 は動画と音声を入力として受け取りながら音声とテキストを同時に生成する 9B のエンドツーエンド(入力から出力まで一続きの流れで処理する)オムニモーダル(音声・動画・テキストを 1 つのモデルで扱う)モデルだ。MiniCPM-V 4.7 は 35B-A3B MoE と 1B バリアントを提供し、MoE(Mixture of Experts)はモデルを複数の expert に分け、その一部だけを計算に使う構造をいう。リポジトリの説明はローカル端末で見て聞いてやり取りする用途を強調している。Python で書かれており、ライセンスは Apache-2.0、作成日は 2024 年 1 月 29 日だ。スター数は 26919。
ただし、ここで判断できる範囲は限られる。提示された情報に 20250527 リリースの変更内容とリリースノートはないため、このバージョンが何を変えたかは確認できない。性能ベンチマークや導入事例、モデル間の比較数値も示されていない。評価スコアは 10 点満点のうちモメンタム 5.9 だけが記入され、新鮮性・技術・品質の各項目は示されていない。画像理解の精度や音声生成の品質がどの程度かは、この資料だけでは分からない。いまは種類と規模が確認できるモデル群として記録し、具体的な変更と性能はリリースノートと自主測定を通じて判断するのが妥当だ。