로컬 추론 엔진
사용자 소유의 CPU, GPU, NPU 또는 Apple Silicon에서 학습된 모델을 실행하는 독립형 엔진과 라이브러리입니다. 먼저 llm-inference에 정의된 완전한 엔진의 우선순위를 적용합니다. 프로덕션·분산 서빙과 자원 제약 기기용 런타임은 다른 분류에 속합니다. 모달리티 특화 엔진은 Apple 전용 또는 기타 하드웨어 전용 특화가 우선하는 경우를 제외하고 multimodal-runtime-inference에 속합니다. 모델 아티팩트, 학습 도구, 런타임 관리 유틸리티 및 하드웨어 적합성 계산기는 제외합니다.
세부 분야
Apple Silicon 추론
Apple Silicon, MLX, Metal 또는 Apple 통합 메모리에 주로 특화된 완전한 로컬 모델 실행 엔진입니다. 독립 커널, 프로덕션 서빙 시스템 및 자원 제약 모바일·임베디드 기기용 런타임은 제외합니다. Apple 하드웨어에서도 이들 분류를 우선합니다.
3 개 프로젝트범용 로컬 엔진
다양한 모델 아키텍처와 양자화 형식을 로컬 하드웨어에서 실행하도록 설계된 이식 가능한 추론 엔진. 특정 GPU 벤더 전용 포크와 데스크톱 모델 런처는 제외.
8 개 프로젝트하드웨어 특화 엔진
특정 비Apple 가속기나 하드웨어 아키텍처 전용인 완전한 로컬 추론 엔진 또는 성능 최적화 포크입니다. 독립 커널, 프로덕션 서빙, 자원 제약 기기 런타임, Apple 전용 엔진 및 해당 하드웨어를 단순 지원하는 이식 가능한 엔진은 제외합니다.
11 개 프로젝트| 프로젝트 | 하는 일 | 스타 | 언어 | 라이선스 | 최근 릴리스 |
|---|---|---|---|---|---|
| ollama/ollama | 다양한 오픈 모델을 로컬 또는 클라우드에서 실행하는 범용 추론 엔진입니다. | ★ 183.7K | Go | MIT | v0.40.6 |
| ggml-org/llama.cpp | C와 C++로 작성되어 대규모 언어 모델을 로컬에서 실행하는 범용 추론 엔진입니다. | ★ 131.6K | C++ | MIT | b11719 |
| niko1221/strata | Qwen3.8-Flash-Next를 여러 GPU와 Apple 기기에서 로컬 실행하는 설치형 추론 엔진입니다. | ★ 27.3K | C++ | MIT | v0.1.45 |
| antirez/ds4 | Metal·CUDA·ROCm에서 DeepSeek 중심 모델을 로컬 실행하고 SSD 스트리밍과 다중 호스트 병렬화를 지원합니다. | ★ 23.9K | C | MIT | — |
| jundot/omlx | Apple Silicon에서 LLM을 지속 배치와 SSD·KV 캐시로 제공하는 로컬 추론 서버입니다. | ★ 22.9K | Python | Apache-2.0 | v0.7.1rc1 |
| flashml-org/freetoken | GPU·CPU·호스트 메모리를 엮어 거대 MoE 모델을 로컬에서 서빙하는 엔진이다. | ★ 14.6K | Python | Apache-2.0 | v0.1.3 |
| magnitudedev/magnitude | 하드웨어에 맞춰 커널을 자동 조정해 여러 로컬 모델을 실행하는 범용 추론 엔진입니다. | ★ 7K | Rust | Apache-2.0 | @magnitudedev/cli@0.2.9 |
| syv-ai/hyperqwen | 대형 Qwen 모델을 단일 24GB CUDA GPU에서 빠르게 서빙하도록 vLLM을 패치하고 최적화합니다. | ★ 2.1K | Python | Apache-2.0 | — |
| fesens/opentpu | Qwen 계열 모델을 Kintex-7 PCIe 카드에서 실행하는 하드웨어 가속 스택입니다. | ★ 768 | Verilog | Apache-2.0 | — |
| warpfront/hipfire | AMD RDNA GPU용 Rust 기반 완전한 로컬 LLM 추론 엔진입니다. | ★ 692 | Rust | NOASSERTION | v0.4.2.1 |
| lithos-ai/lithos-metal | Apple 실리콘용 Metal 메가커널과 추측 디코딩을 갖춘 완전한 로컬 LLM 추론 엔진입니다. | ★ 290 | Python | Apache-2.0 | v0.1.2 |
| indras-mirror/xolotl | RTX 4090 한 대에서 VRAM·RAM·NVMe에 MoE expert를 계층 배치해 초대형 언어 모델을 실행합니다. | ★ 88 | C++ | MIT | — |
| jesdga95/basalt | NVIDIA Blackwell용 Qwen MoE 모델을 로컬에서 추론하는 엔진입니다. | ★ 72 | C++ | MIT | — |
| professorpalmer/bonsai-ada-surgery | RTX 4070에서 q8_0 KV로 262K 컨텍스트의 Bonsai 2 27B를 구동하는 PrismML llama.cpp 포크입니다. | ★ 70 | Python | NOASSERTION | bundle-20261018 |
| lateos-ai/reflex | CUDA에서 GGUF 모델을 실행해 실시간 에이전트 의사결정을 지원하는 Rust 기반 추론 엔진입니다. | ★ 62 | Rust | MIT | v0.2.9-runpod-hub |
| shawnshekari/strixite | AMD Strix Halo gfx1151과 Qwen3.8-Flash-Next에 맞춘 HIP 기반 로컬 추론 엔진입니다. | ★ 60 | C++ | AGPL-3.0 | v0.3.1 |
| 1picassoai/coachwhip | Apple 실리콘 전용 MoE 추론 엔진이 대형 모델을 오프라인으로 로컬 실행하고 OpenAI 호환 API를 제공합니다. | ★ 58 | Metal | Apache-2.0 | v0.5.3 |
| jitllm/jitllm | Go로 작성된 하드웨어 적응형 추론 엔진으로, 여러 CPU·GPU 백엔드에서 메모리를 넘는 모델을 실행합니다. | ★ 48 | Go | Apache-2.0 | v0.2.6 |
| valeriodolci/capy-flash | Qwen MoE 모델을 RTX 5070 Ti 두 대에서 NVFP4·텐서 병렬로 실행합니다. | ★ 44 | C++ | Apache-2.0 | v0.5.4 |
| seuros/mdma | 다양한 CPU·GPU·TPU 백엔드에서 GGUF를 로컬 실행하는 완전한 추론 엔진입니다. | ★ 14 | Rust | BSD-2-Clause | — |
| hardenedlinux/sonicboom | C++와 CUDA로 양자화 GGUF 모델을 로컬 실행하는 네이티브 텐서 런타임입니다. | ★ 5 | C++ | GPL-3.0 | — |
| cosmonomic/pulsarlm | 오래된 저중요 토큰을 제거해 지속형 챗봇과 에이전트의 컨텍스트를 작게 유지하는 LLM 추론 엔진이다. | ★ 4 | C++ | Apache-2.0 | — |