Apple Silicon 추론
Apple Silicon, MLX, Metal 또는 Apple 통합 메모리에 주로 특화된 완전한 로컬 모델 실행 엔진입니다. 독립 커널, 프로덕션 서빙 시스템 및 자원 제약 모바일·임베디드 기기용 런타임은 제외합니다. Apple 하드웨어에서도 이들 분류를 우선합니다.
| 프로젝트 | 하는 일 | 스타 | 언어 | 라이선스 | 최근 릴리스 |
|---|---|---|---|---|---|
| jundot/omlx | Apple Silicon에서 LLM을 지속 배치와 SSD·KV 캐시로 제공하는 로컬 추론 서버입니다. | ★ 22.9K | Python | Apache-2.0 | v0.7.1rc1 |
| lithos-ai/lithos-metal | Apple 실리콘용 Metal 메가커널과 추측 디코딩을 갖춘 완전한 로컬 LLM 추론 엔진입니다. | ★ 291 | Python | Apache-2.0 | v0.1.2 |
| 1picassoai/coachwhip | Apple 실리콘 전용 MoE 추론 엔진이 대형 모델을 오프라인으로 로컬 실행하고 OpenAI 호환 API를 제공합니다. | ★ 58 | Metal | Apache-2.0 | v0.5.3 |