ml-explore/mlx-lm 是一个 Python 包,支持在 Apple Silicon 上利用 MLX 进行大语言模型的文本生成与微调。目前公开的最新发布版本为 v0.32.2,但提供的记录中没有该版本的变更记录与发布说明,因此无法确定新增了哪些功能。
README 说明它支持与 Hugging Face Hub 集成、模型量化与上传、low-rank 微调与全模型微调,以及使用 mx.distributed 进行分布式推理与微调。low-rank 是一种通过低维矩阵近似权重来减少内存和计算量的训练方式,分布式推理则是把一个模型拆分到多个设备上共同处理的方式。它既可以通过命令行使用,也可以通过 Python API 使用,并支持聊天 REPL、流式与批量生成、长提示词处理以及提示词缓存。
实现语言为 Python,许可证为 MIT。GitHub 星标数为 7415,仓库创建日期记录为 2025-03-11。
不过,该仓库以 Apple Silicon 环境为前提,而提供的记录中没有任何可供比较的性能数值或基准测试结果。评分项中只有 Momentum 记为 4.7 分,Freshness、Technology 与 Quality 项均未给出数值。目前没有依据可以断定它优于其他 LLM 运行工具。如果计划直接在 Apple Silicon 上进行推理与微调,可以将其作为备选方案来考察;但由于性能数值和最新发布版本的变更记录均为空,做出采用决策还为时过早。