github.devotd.
新发现推理与服务

ml-explore/mlx-lm v0.32.2 — 面向 Apple Silicon 的 MLX 推理与微调包

介绍 ml-explore/mlx-lm 这一面向 Apple Silicon、基于 MLX 的 LLM 推理与微调包的最新发布版本 v0.32.2,同时指出其中没有提供性能数值。

仓库信息ml-explore/mlx-lm ↗

介绍 ml-explore/mlx-lm 这一面向 Apple Silicon、基于 MLX 的 LLM 推理与微调包的最新发布版本 v0.32.2,同时指出其中没有提供性能数值。

GitHub 项目说明: Run LLMs with MLX

星标
★ 7.4K
复刻
1.1K
语言
Python
许可证
MIT
最新版本
v0.32.2
查看原始来源 ↗在 GitHub 查看 ↗

ml-explore/mlx-lm 是一个 Python 包,支持在 Apple Silicon 上利用 MLX 进行大语言模型的文本生成与微调。目前公开的最新发布版本为 v0.32.2,但提供的记录中没有该版本的变更记录与发布说明,因此无法确定新增了哪些功能。

README 说明它支持与 Hugging Face Hub 集成、模型量化与上传、low-rank 微调与全模型微调,以及使用 mx.distributed 进行分布式推理与微调。low-rank 是一种通过低维矩阵近似权重来减少内存和计算量的训练方式,分布式推理则是把一个模型拆分到多个设备上共同处理的方式。它既可以通过命令行使用,也可以通过 Python API 使用,并支持聊天 REPL、流式与批量生成、长提示词处理以及提示词缓存。

实现语言为 Python,许可证为 MIT。GitHub 星标数为 7415,仓库创建日期记录为 2025-03-11。

不过,该仓库以 Apple Silicon 环境为前提,而提供的记录中没有任何可供比较的性能数值或基准测试结果。评分项中只有 Momentum 记为 4.7 分,Freshness、Technology 与 Quality 项均未给出数值。目前没有依据可以断定它优于其他 LLM 运行工具。如果计划直接在 Apple Silicon 上进行推理与微调,可以将其作为备选方案来考察;但由于性能数值和最新发布版本的变更记录均为空,做出采用决策还为时过早。