blaizzy/mlx-vlm は、Mac 上で MLX を使用して視覚言語モデル(Vision Language Models、VLM)の推論とファインチューニングをサポートする Python パッケージです。音声や動画にも対応する Omni モデルも扱っており、利用経路は CLI、Gradio チャット UI、Python API、FastAPI サーバーとして提供されています。GitHub に表示される最新リリースは v0.7.9 です。
モデル加工とファインチューニングの経路は幅広いです。Hugging Face のモデル変換と量子化に対応し、分散推論も可能です。ファインチューニングでは LoRA、QLoRA、DoRA、フルファインチューニングの中から方式を選べ、SFT、ORPO、DPO、GRPO の目標を使用できます。ライセンスは MIT、実装言語は Python で、GitHub のスター数は 5640 と表示されています。
確認できるのは機能一覧までです。性能比較の数値がないためモデルごとの精度や処理速度は分からず、v0.7.9 の変更内容も記録されていないため、今回のリリースで何を修正したかは知り得ません。実行環境が Mac に限定される点も併せて考慮する必要があります。記録されているスコアは推進力(momentum)0.7 のみで、新規性・技術・品質のスコアは残っていません。機能範囲だけで候補を決め、性能は別途確認する必要があります。