waybarrios/vllm-mlx

waybarrios/vllm-mlx가 제공하는 애플 실리콘용 추론 서버의 기능과 문서에 제시된 성능 정보의 한계를 살펴본다.

GitHub 설명: High-performance OpenAI and Anthropic compatible LLM inference server for Apple Silicon. Native MLX, continuous batching, multimodal models, MCP tool calling, and Claude Code support.

스타

★ 1.6K

포크

233

언어

Python

라이선스

Apache-2.0

최신 릴리스

v0.6.0