youssofal/mtplx

youssofal/mtplx는 Apple Silicon에서 MTP 추측 디코딩으로 로컬 모델을 실행하는 도구이며, 최신 릴리스는 v2.12.2다.

GitHub 설명: The fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.

스타

★ 2.6K

포크

206

언어

Python

라이선스

Apache-2.0

최신 릴리스

v2.12.2