github.devotd.
新发现推理与服务

lmstudio-ai/mlx-engine — LM Studio 的开源 MLX 推理引擎

基于 Apple MLX 的开源推理引擎,支持文本生成、视觉模型推理和结构化输出,并已预装在 Mac 版 LM Studio 中。

仓库信息lmstudio-ai/mlx-engine ↗

基于 Apple MLX 的开源推理引擎,支持文本生成、视觉模型推理和结构化输出,并已预装在 Mac 版 LM Studio 中。

GitHub 项目说明: LM Studio Apple MLX engine

星标
★ 1.2K
复刻
135
语言
Python
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

lmstudio-ai/mlx-engine 是 Mac 版 LM Studio 所使用的开源 MLX 推理引擎。它运行在 Apple 的 MLX(用于在 Mac 上运行机器学习模型的库)之上,用 Python 编写,采用 MIT 许可证。这是一个面向 Mac 版 LM Studio 的项目,GitHub 星标数为 1190。仓库创建于 2024 年 10 月 7 日。

该引擎组合了 mlx-lm、mlx-vlm 和 Outlines。mlx-lm 与 mlx-vlm 负责文本生成和视觉模型(以图像为输入并判断其内容的模型)推理,而基于 Outlines 的结构化输出组件会让模型输出指定格式的数据,而不是自由书写的句子。这正是那些必须遵循既定 schema 的任务所需要的部分。它带有可独立运行的 demo,因此不装 LM Studio 也能单独运行引擎,并可以在该 demo 中体验推测解码(speculative decoding,先产生候选、再由模型验证并确认的方式)。Mac 版 LM Studio 已预装该引擎。文本生成、视觉推理和结构化输出分别交给不同的库处理,这一点的意义在于,LM Studio 所用引擎的内部结构是公开的。

不过,留存下来的记录并不多。研究记录中的势头分数只有 1.7 分,偏低;新颖性、技术、质量分数则未给出。也没有用于对比性能的基准测试,更没有整理好的发布版本,因此无从得知这个引擎在哪些模型上快、又能有多快。与其他引擎比较性能所需的数值同样还没有。用来作为性能对比的依据,现在还为时尚早。对于在 Mac 上使用 LM Studio 的人来说,读一读这个仓库可以作为了解推理引擎由哪些部分组成的参考案例,但还不足以成为引入的决定依据。接下来要看的,是正式发布版本时是否会同时给出对比资料。