모델 추론
학습된 모델을 실행하는 재사용 가능한 엔진, 서빙 시스템, 커널, 캐시 및 유틸리티입니다. 먼저 주 제공 구성 요소를 판단하며, 관리 도구·메모리 기법·커널이 핵심이면 함께 포함된 엔진보다 우선합니다. 완전한 엔진은 프로덕션·분산 서빙, 자원 제약 기기 실행, Apple 전용 로컬 엔진, 기타 하드웨어 전용 로컬 엔진, 모달리티 중심 엔진, 이식 가능한 로컬 엔진 순으로 분류합니다. 하드웨어나 멀티모달 지원만으로 특화로 판단하지 않습니다. 모델 아티팩트, 학습 도구, 에이전트 루프 및 사용자용 제작 앱은 제외합니다.
세부 분야
임베디드 장치 추론
마이크로컨트롤러, 휴대폰, 게임 콘솔 및 기타 자원이 제한된 장치를 위한 경량 추론 런타임. 전체 서버 클러스터와 로컬 모델 실행이 없는 범용 임베디드 에이전트 프레임워크는 제외.
1 개 프로젝트추론 메모리·캐시
추론 중 모델 가중치, 활성값, 어텐션 상태 또는 KV 캐시의 메모리를 줄이거나 가상화하는 기술. 배포 전에 수행되는 품질 손실 모델 양자화와 일반적인 RAM 관리는 제외.
3 개 프로젝트로컬 추론 엔진
사용자 소유의 CPU, GPU, NPU 또는 Apple Silicon에서 학습된 모델을 실행하는 독립형 엔진과 라이브러리입니다. 먼저 llm-inference에 정의된 완전한 엔진의 우선순위를 적용합니다. 프로덕션·분산 서빙과 자원 제약 기기용 런타임은 다른 분류에 속합니다. 모달리티 특화 엔진은 Apple 전용 또는 기타 하드웨어 전용 특화가 우선하는 경우를 제외하고 multimodal-runtime-inference에 속합니다. 모델 아티팩트, 학습 도구, 런타임 관리 유틸리티 및 하드웨어 적합성 계산기는 제외합니다.
22 개 프로젝트모델 런타임 도구
하드웨어에 적합한 모델 선택, 런타임 실행, 사용 현황 모니터링 및 로컬 모델 파일 관리를 지원하는 유틸리티. 추론 엔진 자체와 범용 LLM API 라우팅은 제외.
2 개 프로젝트멀티모달 런타임 추론
이미지, 오디오, 영상, 비전-언어 또는 통합 멀티모달 모델에 주로 특화된 재사용 실행 엔진입니다. llm-inference에 정의한 완전한 엔진의 배포·하드웨어 우선순위를 먼저 적용합니다. 모델 릴리스, 학습 도구, 사용자용 미디어 워크플로 및 멀티모달을 부가 지원하는 범용 엔진은 제외합니다.
2 개 프로젝트| 프로젝트 | 하는 일 | 스타 | 언어 | 라이선스 | 최근 릴리스 |
|---|---|---|---|---|---|
| ollama/ollama | 다양한 오픈 모델을 로컬 또는 클라우드에서 실행하는 범용 추론 엔진입니다. | ★ 183.7K | Go | MIT | v0.40.6 |
| ggml-org/llama.cpp | C와 C++로 작성되어 대규모 언어 모델을 로컬에서 실행하는 범용 추론 엔진입니다. | ★ 131.6K | C++ | MIT | b11719 |
| alexsjones/llmfit | LLMFit은 CPU, 메모리, GPU, VRAM, 가속기 구성에 맞는 양자화 모델을 찾아 추천하는 로컬 하드웨어 도구입니다. | ★ 38.1K | Rust | MIT | v1.1.17 |
| niko1221/strata | Qwen3.8-Flash-Next를 여러 GPU와 Apple 기기에서 로컬 실행하는 설치형 추론 엔진입니다. | ★ 27.2K | C++ | MIT | v0.1.45 |
| antirez/ds4 | Metal·CUDA·ROCm에서 DeepSeek 중심 모델을 로컬 실행하고 SSD 스트리밍과 다중 호스트 병렬화를 지원합니다. | ★ 23.9K | C | MIT | — |
| jundot/omlx | Apple Silicon에서 LLM을 지속 배치와 SSD·KV 캐시로 제공하는 로컬 추론 서버입니다. | ★ 22.9K | Python | Apache-2.0 | v0.7.1rc1 |
| flashml-org/freetoken | GPU·CPU·호스트 메모리를 엮어 거대 MoE 모델을 로컬에서 서빙하는 엔진이다. | ★ 14.6K | Python | Apache-2.0 | v0.1.3 |
| magnitudedev/magnitude | 하드웨어에 맞춰 커널을 자동 조정해 여러 로컬 모델을 실행하는 범용 추론 엔진입니다. | ★ 7K | Rust | Apache-2.0 | @magnitudedev/cli@0.2.9 |
| flashml-org/freevideo | MiniMax H3 비디오 모델을 소비자 GPU에서 효율적으로 실행하는 로컬 추론 엔진입니다. | ★ 2.1K | Python | Apache-2.0 | v0.4.14 |
| syv-ai/hyperqwen | 대형 Qwen 모델을 단일 24GB CUDA GPU에서 빠르게 서빙하도록 vLLM을 패치하고 최적화합니다. | ★ 2.1K | Python | Apache-2.0 | — |
| kvmem/kvmem | llama.cpp와 NInfer 간 KV 메모리를 가상화해 호스트와 GPU 사이에서 오프로드하는 구성요소입니다. | ★ 1.1K | C++ | — | v0.18.0 |
| receptron/laya | Node.js에서 ONNX 기반 Laya 결정 모델을 실행해 분류 확률과 점수를 산출합니다. | ★ 960 | TypeScript | MIT | v0.2.0 |
| fesens/opentpu | Qwen 계열 모델을 Kintex-7 PCIe 카드에서 실행하는 하드웨어 가속 스택입니다. | ★ 766 | Verilog | Apache-2.0 | — |
| warpfront/hipfire | AMD RDNA GPU용 Rust 기반 완전한 로컬 LLM 추론 엔진입니다. | ★ 692 | Rust | NOASSERTION | v0.4.2.1 |
| lithos-ai/lithos-metal | Apple 실리콘용 Metal 메가커널과 추측 디코딩을 갖춘 완전한 로컬 LLM 추론 엔진입니다. | ★ 290 | Python | Apache-2.0 | v0.1.2 |
| surya-koritala/glyd | GPU 메모리의 BF16 가중치와 KV 캐시를 손실 없이 압축해 실행 시 원래 값을 복원한다. | ★ 255 | Rust | NOASSERTION | v0.32.1 |
| nyosegawa/speech.cpp | ggml 위에서 음성 합성·인식·VAD 모델을 여러 하드웨어 백엔드로 실행한다. | ★ 180 | C++ | MIT | v0.8.10 |
| indras-mirror/xolotl | RTX 4090 한 대에서 VRAM·RAM·NVMe에 MoE expert를 계층 배치해 초대형 언어 모델을 실행합니다. | ★ 81 | C++ | MIT | — |
| jesdga95/basalt | NVIDIA Blackwell용 Qwen MoE 모델을 로컬에서 추론하는 엔진입니다. | ★ 72 | C++ | MIT | — |
| professorpalmer/bonsai-ada-surgery | RTX 4070에서 q8_0 KV로 262K 컨텍스트의 Bonsai 2 27B를 구동하는 PrismML llama.cpp 포크입니다. | ★ 70 | Python | NOASSERTION | bundle-20261017b |
| lateos-ai/reflex | CUDA에서 GGUF 모델을 실행해 실시간 에이전트 의사결정을 지원하는 Rust 기반 추론 엔진입니다. | ★ 62 | Rust | MIT | v0.2.9-runpod-hub |
| shawnshekari/strixite | AMD Strix Halo gfx1151과 Qwen3.8-Flash-Next에 맞춘 HIP 기반 로컬 추론 엔진입니다. | ★ 60 | C++ | AGPL-3.0 | v0.3.1 |
| 1picassoai/coachwhip | Apple 실리콘 전용 MoE 추론 엔진이 대형 모델을 오프라인으로 로컬 실행하고 OpenAI 호환 API를 제공합니다. | ★ 58 | Metal | Apache-2.0 | v0.5.3 |
| jitllm/jitllm | Go로 작성된 하드웨어 적응형 추론 엔진으로, 여러 CPU·GPU 백엔드에서 메모리를 넘는 모델을 실행합니다. | ★ 48 | Go | Apache-2.0 | v0.2.6 |
| valeriodolci/capy-flash | Qwen MoE 모델을 RTX 5070 Ti 두 대에서 NVFP4·텐서 병렬로 실행합니다. | ★ 44 | C++ | Apache-2.0 | v0.5.4 |
| seuros/mdma | 다양한 CPU·GPU·TPU 백엔드에서 GGUF를 로컬 실행하는 완전한 추론 엔진입니다. | ★ 14 | Rust | BSD-2-Clause | — |
| andrei-borcea/liyab | 메모리보다 큰 GGUF 모델을 플래시에서 스트리밍하고 열 상태에 맞춰 휴대폰에서 실행합니다. | ★ 7 | C++ | Apache-2.0 | — |
| hardenedlinux/sonicboom | C++와 CUDA로 양자화 GGUF 모델을 로컬 실행하는 네이티브 텐서 런타임입니다. | ★ 5 | C++ | GPL-3.0 | — |
| cosmonomic/pulsarlm | 오래된 저중요 토큰을 제거해 지속형 챗봇과 에이전트의 컨텍스트를 작게 유지하는 LLM 추론 엔진이다. | ★ 4 | C++ | Apache-2.0 | — |
| srkrz23/vramkit | LLM 추론 시 가중치와 KV 캐시의 VRAM 사용량을 줄이는 압축 실험을 제공한다. | ★ 2 | Python | — | — |