通用本地引擎
可在本地硬件上运行多种模型架构和量化格式的可移植推理引擎；不包括专用于单一 GPU 厂商的派生版本和桌面模型启动器。
| 项目 | 用途 | Star | 语言 | 许可证 | 最新版本 |
|---|---|---|---|---|---|
| ollama/ollama | 可在本地或云端运行多种开放模型的通用推理引擎。 | ★ 183.7K | Go | MIT | v0.40.6 |
| ggml-org/llama.cpp | 一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。 | ★ 131.6K | C++ | MIT | b11719 |
| niko1221/strata | 一款为 Qwen3.8-Flash-Next 提供一键安装及本地兼容 API 的完整推理引擎。 | ★ 27.3K | C++ | MIT | v0.1.45 |
| antirez/ds4 | 通过 Metal、CUDA 和 ROCm 在本地运行特定 DeepSeek、GLM 与 Qwen 模型，并支持 SSD 流式加载。 | ★ 23.9K | C | MIT | — |
| flashml-org/freetoken | 在GPU、CPU和主机内存上本地服务超大MoE模型的推理引擎。 | ★ 14.6K | Python | Apache-2.0 | v0.1.3 |
| magnitudedev/magnitude | 一款针对本机硬件自动调优内核、跨 CPU 与多家 GPU 运行本地模型的通用推理引擎。 | ★ 7K | Rust | Apache-2.0 | @magnitudedev/cli@0.2.9 |
| jitllm/jitllm | 一个基于 Go 的硬件自适应推理引擎，通过 JIT 生成 CPU/GPU 内核运行超出内存的模型。 | ★ 48 | Go | Apache-2.0 | v0.2.6 |
| seuros/mdma | 支持多种CPU、GPU和TPU后端并本地运行GGUF的完整推理引擎。 | ★ 14 | Rust | BSD-2-Clause | — |