waybarrios/vllm-mlx 是在 Apple Silicon 上用 MLX 提供语言模型的推理服务器。它支持与 OpenAI、Anthropic 兼容的接口,公开的最新版本是 v0.6.0。不过所给的记录中没有这一版本的新增变更条目,因此无法确认具体改动。以仓库说明和 README 为准,这个项目是一套把多个客户端与功能接入本地推理环境的工具。
README 介绍了多种兼容接口,其中包括连续批处理和分页式键值缓存。连续批处理把进行中的请求一并处理,而不是按顺序逐个处理请求。文档中还列出了图像、视频、音频输入,向量嵌入,MCP 工具调用以及 Claude Code 支持。它也包含可观测性与基准测试功能,以及安装、确认首个响应、验证客户端等指引。仓库说明称实现语言是 Python,许可证是 Apache-2.0。
性能表中的数值是在特定设备和配置下取得的,README 也说明结果可能因运行环境而异。因此仅凭这份资料无法断定在其他 Apple Silicon 设备上的处理速度或性能优势。所给资料中同样没有 v0.6.0 的变更记录,所以与其把它当作本次发布具体变化的依据,不如把它当作确认 README 所记录功能范围的资料。