범용 로컬 엔진
다양한 모델 아키텍처와 양자화 형식을 로컬 하드웨어에서 실행하도록 설계된 이식 가능한 추론 엔진. 특정 GPU 벤더 전용 포크와 데스크톱 모델 런처는 제외.
| 프로젝트 | 하는 일 | 스타 | 언어 | 라이선스 | 최근 릴리스 |
|---|---|---|---|---|---|
| ollama/ollama | 다양한 오픈 모델을 로컬 또는 클라우드에서 실행하는 범용 추론 엔진입니다. | ★ 183.7K | Go | MIT | v0.40.6 |
| ggml-org/llama.cpp | C와 C++로 작성되어 대규모 언어 모델을 로컬에서 실행하는 범용 추론 엔진입니다. | ★ 131.6K | C++ | MIT | b11719 |
| niko1221/strata | Qwen3.8-Flash-Next를 여러 GPU와 Apple 기기에서 로컬 실행하는 설치형 추론 엔진입니다. | ★ 27.3K | C++ | MIT | v0.1.45 |
| antirez/ds4 | Metal·CUDA·ROCm에서 DeepSeek 중심 모델을 로컬 실행하고 SSD 스트리밍과 다중 호스트 병렬화를 지원합니다. | ★ 23.9K | C | MIT | — |
| flashml-org/freetoken | GPU·CPU·호스트 메모리를 엮어 거대 MoE 모델을 로컬에서 서빙하는 엔진이다. | ★ 14.6K | Python | Apache-2.0 | v0.1.3 |
| magnitudedev/magnitude | 하드웨어에 맞춰 커널을 자동 조정해 여러 로컬 모델을 실행하는 범용 추론 엔진입니다. | ★ 7K | Rust | Apache-2.0 | @magnitudedev/cli@0.2.9 |
| jitllm/jitllm | Go로 작성된 하드웨어 적응형 추론 엔진으로, 여러 CPU·GPU 백엔드에서 메모리를 넘는 모델을 실행합니다. | ★ 48 | Go | Apache-2.0 | v0.2.6 |
| seuros/mdma | 다양한 CPU·GPU·TPU 백엔드에서 GGUF를 로컬 실행하는 완전한 추론 엔진입니다. | ★ 14 | Rust | BSD-2-Clause | — |