blaizzy/mlx-vlm 是一个 MIT 许可的 Python 包，可在 Mac 上使用 MLX 对视觉、音频和视频模型进行推理与微调。
blaizzy/mlx-vlm 是一个 MIT 许可的 Python 包，可在 Mac 上使用 MLX 对视觉、音频和视频模型进行推理与微调。
GitHub 项目说明: MLX-VLM is a package for inference and fine-tuning of Vision Language Models (VLMs) on your Mac using MLX.
blaizzy/mlx-vlm 是一个 Python 包，支持在 Mac 上使用 MLX 进行视觉语言模型（Vision Language Models，VLM）的推理与微调。它同时涵盖支持音频和视频的 Omni 模型，使用路径以 CLI、Gradio 聊天界面、Python API 和 FastAPI 服务器的形式提供。GitHub 上显示的最新版本是 v0.7.9。
模型加工与微调路径覆盖广泛。支持 Hugging Face 模型转换与量化，也能进行分布式推理。微调可在 LoRA、QLoRA、DoRA 和全量微调之间选择，目标函数可使用 SFT、ORPO、DPO、GRPO。许可证为 MIT，实现语言为 Python，GitHub 显示星标数为 5640。
能够确认的仅是功能列表。没有性能对比数据，因此无法了解各模型的准确率或处理速度，v0.7.9 的变更记录也未留存，所以无法知道本次发布修复了什么。运行环境局限于 Mac 这一点也需一并考虑。记录在案的分数只剩推进力（momentum）0.7 一项，新颖性·技术·质量分数均未保留。只能依据功能范围确定候选，性能则需要另行核实。
Triton Inference Server 是把 TensorRT、PyTorch、ONNX 等多个机器学习框架的模型集中到一台服务器上，并通过 HTTP/REST 和 gRPC 接收推理请求的开源推理服务器，该仓库的最新版本是 v2.73.0。
梳理面向 Rockchip NPU 的 RKLLM 转换与推理 SDK airockchip/rknn-llm 的最新版本 release-v1.3.1、支持的芯片范围，以及未能确认的变更内容。
介绍为 Arm CPU 和 Mali GPU 优化的底层机器学习函数库 computelibrary 及其最新版本 v53.3.1。
没有符合条件的动态。