github.devotd.
새 소식추론/서빙

1picassoai/coachwhip v0.5.3 — 애플 실리콘용 MoE 추론 엔진

1picassoai/coachwhip은 Metal과 Rust로 만든 애플 실리콘용 MoE 추론 엔진이며, 저장소가 제시한 성능 수치는 독립 검증되지 않았다.

저장소 정보1picassoai/coachwhip ↗

The 80B Qwen3-Coder-Next on a 16 GB Mac, about 13 tok/s, fully offline. A mixture-of-experts inference engine for Apple silicon.

스타
★ 58
포크
2
언어
Metal
라이선스
Apache-2.0
최신 릴리스
v0.5.3
원문 보기 ↗GitHub에서 보기 ↗

1picassoai/coachwhip은 Metal과 Rust로 만든 애플 실리콘 전용 혼합 전문가(MoE) 추론 엔진이다. 최신 릴리스는 v0.5.3이지만, 제공된 기록에는 이 버전에서 바뀐 내용이 없다. 저장소 설명은 16GB Mac에서 80B Qwen3-Coder-Next를 완전히 오프라인으로 약 13 tok/s에 실행한다고 밝힌다.

이 엔진은 메모리에 들어맞는 모델 구성에서 40개 레이어의 expert 256개를 모두 GPU에 상주시켜 SSD 스트리밍 없이 실행한다. expert는 MoE 모델의 일부 계산을 맡는 가중치 묶음이다. 80B 코더 모델과 gpt-oss-120b에는 expert를 SSD에서 스트리밍하는 별도 경로가 있다. llama.cpp나 MLX 계열과 달리 Metal 커널과 Candle 파생 엔진을 직접 소유하는 설계다. README에는 M4 16GB에서 Qwen3.6-35B의 생성 속도 38 tok/s와 1500토큰 프롬프트 처리 속도 약 300 tok/s가 제시돼 있다.

요구 조건은 M1 이상 애플 실리콘, 16GB 메모리, macOS 15 이상과 여유 디스크 15GB다. OpenAI 호환 API와 Aider 연동 방법도 문서화돼 있다. 다만 성능 수치는 저장소 자체 벤치마크로, 독립 검증은 없다. 따라서 제시된 속도는 참고값이며, 실제 성능을 뒷받침하는 외부 검증 자료는 이 기록에 없다.