新发现
waybarrios/vllm-mlx — 面向 Apple Silicon 的 MLX 推理服务器
梳理 waybarrios/vllm-mlx 这款面向 Apple Silicon 的推理服务器的功能，以及文档中性能数据存在的局限。
waybarrios/vllm-mlx
梳理 waybarrios/vllm-mlx 这款面向 Apple Silicon 的推理服务器的功能，以及文档中性能数据存在的局限。
GitHub 项目说明: High-performance OpenAI and Anthropic compatible LLM inference server for Apple Silicon. Native MLX, continuous batching, multimodal models, MCP tool calling, and Claude Code support.
在 GitHub 查看 ↗- 星标
- ★ 1.6K
- 复刻
- 233
- 语言
- Python
- 许可证
- Apache-2.0
- 最新版本
- v0.6.0
文章
1没有符合条件的动态。