waybarrios/vllm-mlx

waybarrios/vllm-mlx が提供する Apple Silicon 向け推論サーバーの機能と、ドキュメントに記載された性能情報の限界を整理する。

GitHub の説明: High-performance OpenAI and Anthropic compatible LLM inference server for Apple Silicon. Native MLX, continuous batching, multimodal models, MCP tool calling, and Claude Code support.

スター

★ 1.6K

フォーク

233

言語

Python

ライセンス

Apache-2.0

最新リリース

v0.6.0