Devotd Github
新发现推理与服务

waybarrios/vllm-mlx — 面向 Apple Silicon 的 MLX 推理服务器

梳理 waybarrios/vllm-mlx 这款面向 Apple Silicon 的推理服务器的功能,以及文档中性能数据存在的局限。

仓库信息waybarrios/vllm-mlx ↗

梳理 waybarrios/vllm-mlx 这款面向 Apple Silicon 的推理服务器的功能,以及文档中性能数据存在的局限。

GitHub 项目说明: High-performance OpenAI and Anthropic compatible LLM inference server for Apple Silicon. Native MLX, continuous batching, multimodal models, MCP tool calling, and Claude Code support.

星标
★ 1.6K
复刻
233
语言
Python
许可证
Apache-2.0
最新版本
v0.6.0
查看原始来源 ↗在 GitHub 查看 ↗

waybarrios/vllm-mlx 是在 Apple Silicon 上用 MLX 提供语言模型的推理服务器。它支持与 OpenAI、Anthropic 兼容的接口,公开的最新版本是 v0.6.0。不过所给的记录中没有这一版本的新增变更条目,因此无法确认具体改动。以仓库说明和 README 为准,这个项目是一套把多个客户端与功能接入本地推理环境的工具。

README 介绍了多种兼容接口,其中包括连续批处理和分页式键值缓存。连续批处理把进行中的请求一并处理,而不是按顺序逐个处理请求。文档中还列出了图像、视频、音频输入,向量嵌入,MCP 工具调用以及 Claude Code 支持。它也包含可观测性与基准测试功能,以及安装、确认首个响应、验证客户端等指引。仓库说明称实现语言是 Python,许可证是 Apache-2.0。

性能表中的数值是在特定设备和配置下取得的,README 也说明结果可能因运行环境而异。因此仅凭这份资料无法断定在其他 Apple Silicon 设备上的处理速度或性能优势。所给资料中同样没有 v0.6.0 的变更记录,所以与其把它当作本次发布具体变化的依据,不如把它当作确认 README 所记录功能范围的资料。