Devotd Github
새 소식추론/서빙

youssofal/mtplx v2.12.2 — Apple Silicon 로컬 추론 도구

youssofal/mtplx는 Apple Silicon에서 MTP 추측 디코딩으로 로컬 모델을 실행하는 도구이며, 최신 릴리스는 v2.12.2다.

저장소 정보youssofal/mtplx ↗

youssofal/mtplx는 Apple Silicon에서 MTP 추측 디코딩으로 로컬 모델을 실행하는 도구이며, 최신 릴리스는 v2.12.2다.

GitHub 설명: The fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.

스타
★ 2.6K
포크
206
언어
Python
라이선스
Apache-2.0
최신 릴리스
v2.12.2
원문 보기 ↗GitHub에서 보기 ↗

youssofal/mtplx는 Apple Silicon에서 로컬 모델을 실행하는 Python 앱과 명령줄 도구다. 최신 릴리스는 v2.12.2다. 이번 버전에 무엇이 추가되거나 변경됐는지는 제공된 기록에 나오지 않는다. 이 도구는 모델에 내장된 다중 토큰 예측(MTP) 헤드를 이용해 추측 디코딩을 수행한다. Qwen 3.8 Flash Next, Qwen 3.8 27B, Ternary Bonsai 2 27B가 대상이다.

추측 디코딩은 모델이 먼저 만든 초안 토큰을 한꺼번에 검증해 생성을 빠르게 하는 방식이다. README는 초안 검증에 잔여 보정이 있는 거부 샘플링을 사용하며, 어떤 온도에서도 출력이 정확하다고 설명한다. 저장소 설명은 M5 Max에서 OpenCode를 사용할 때 125 tok/s를 제시하고, 16 GB 메모리의 Mac에서 27B 모델을 실행할 수 있다고 밝힌다. 수치에는 측정 조건과 기록 링크가 공개돼 있다. OpenAI 및 Anthropic 호환 로컬 서버도 제공하며, 라이선스는 Apache-2.0이다.

성능 수치는 저장소가 제시한 특정 환경의 결과로, 다른 하드웨어나 사용 방식에 그대로 적용된다고 볼 근거는 없다. README도 이미지 요청의 동등성 검증을 아직 반복하지 않았다고 밝힌다. macOS 14 이상이 필요하다. 따라서 공개된 성능 주장은 일반적인 비교 결과가 아니라 해당 조건에서의 기록으로 읽어야 하며, 이미지 요청의 정확성은 확인이 더 필요하다.