本地推理引擎
在用户自有 CPU、GPU、NPU 或 Apple Silicon 上执行已训练模型的独立引擎与库。首先遵循 llm-inference 定义的完整引擎分类优先级：生产或分布式推理服务、资源受限设备运行时归入其他分支；模态专用引擎归入 multimodal-runtime-inference，除非 Apple 专用或其他硬件专用特性具有更高优先级。不包括模型制品、训练工具、运行时管理工具和硬件适配估算工具。
子领域
Apple Silicon 推理
主要针对 Apple Silicon、MLX、Metal 或 Apple 统一内存优化的完整本地模型执行引擎。不包括独立内核、生产服务系统，以及主要面向受限移动或嵌入式设备的运行时；即使使用 Apple 硬件，也优先归入这些类别。
3 个项目通用本地引擎
可在本地硬件上运行多种模型架构和量化格式的可移植推理引擎；不包括专用于单一 GPU 厂商的派生版本和桌面模型启动器。
8 个项目专用硬件引擎
主要专用于某种非 Apple 加速器或硬件架构的完整本地推理引擎或性能分支。不包括独立内核、生产服务、受限设备运行时、Apple 专用引擎，以及仅支持该硬件的可移植引擎。
11 个项目| 项目 | 用途 | Star | 语言 | 许可证 | 最新版本 |
|---|---|---|---|---|---|
| ollama/ollama | 可在本地或云端运行多种开放模型的通用推理引擎。 | ★ 183.7K | Go | MIT | v0.40.6 |
| ggml-org/llama.cpp | 一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。 | ★ 131.6K | C++ | MIT | b11719 |
| niko1221/strata | 一款为 Qwen3.8-Flash-Next 提供一键安装及本地兼容 API 的完整推理引擎。 | ★ 27.3K | C++ | MIT | v0.1.45 |
| antirez/ds4 | 通过 Metal、CUDA 和 ROCm 在本地运行特定 DeepSeek、GLM 与 Qwen 模型，并支持 SSD 流式加载。 | ★ 23.9K | C | MIT | — |
| jundot/omlx | OMLX 是一款 Apple Silicon 本地 LLM 推理服务器，支持连续批处理、SSD/KV 缓存和菜单栏管理。 | ★ 22.9K | Python | Apache-2.0 | v0.7.1rc1 |
| flashml-org/freetoken | 在GPU、CPU和主机内存上本地服务超大MoE模型的推理引擎。 | ★ 14.6K | Python | Apache-2.0 | v0.1.3 |
| magnitudedev/magnitude | 一款针对本机硬件自动调优内核、跨 CPU 与多家 GPU 运行本地模型的通用推理引擎。 | ★ 7K | Rust | Apache-2.0 | @magnitudedev/cli@0.2.9 |
| syv-ai/hyperqwen | 通过补丁和优化 vLLM，在单张 24GB CUDA GPU 上快速服务大型 Qwen 模型。 | ★ 2.1K | Python | Apache-2.0 | — |
| fesens/opentpu | 在 Kintex-7 PCIe 卡上运行 Qwen 模型的硬件加速器栈。 | ★ 768 | Verilog | Apache-2.0 | — |
| warpfront/hipfire | 面向AMD RDNA GPU的完整Rust LLM推理引擎，原生支持HIP/ROCm内核和OpenAI兼容服务。 | ★ 692 | Rust | NOASSERTION | v0.4.2.1 |
| lithos-ai/lithos-metal | 一款面向 Apple 芯片、采用 Metal 巨内核和推测解码的完整本地 LLM 推理引擎。 | ★ 290 | Python | Apache-2.0 | v0.1.2 |
| indras-mirror/xolotl | 在单张RTX 4090上将MoE专家分层置于显存、内存和NVMe中，运行超大语言模型。 | ★ 88 | C++ | MIT | — |
| jesdga95/basalt | 用于在 NVIDIA Blackwell 工作站上本地运行 Qwen MoE 模型的推理引擎。 | ★ 72 | C++ | MIT | — |
| professorpalmer/bonsai-ada-surgery | PrismML 版 llama.cpp 分支与配方，用 q8_0 KV 在 RTX 4070 上运行 262K 上下文的 Bonsai 2 27B。 | ★ 70 | Python | NOASSERTION | bundle-20261018 |
| lateos-ai/reflex | 在CUDA上运行GGUF模型以支持实时智能体决策的Rust推理引擎。 | ★ 62 | Rust | MIT | v0.2.9-runpod-hub |
| shawnshekari/strixite | 为AMD Strix Halo gfx1151和Qwen3.8-Flash-Next打造的HIP本地推理引擎。 | ★ 60 | C++ | AGPL-3.0 | v0.3.1 |
| 1picassoai/coachwhip | Apple Silicon 专用 MoE 推理引擎在本地离线运行大模型，并提供 OpenAI 兼容 API。 | ★ 58 | Metal | Apache-2.0 | v0.5.3 |
| jitllm/jitllm | 一个基于 Go 的硬件自适应推理引擎，通过 JIT 生成 CPU/GPU 内核运行超出内存的模型。 | ★ 48 | Go | Apache-2.0 | v0.2.6 |
| valeriodolci/capy-flash | 在双RTX 5070 Ti上以NVFP4和张量并行运行Qwen MoE模型，并将专家卸载至CPU。 | ★ 44 | C++ | Apache-2.0 | v0.5.4 |
| seuros/mdma | 支持多种CPU、GPU和TPU后端并本地运行GGUF的完整推理引擎。 | ★ 14 | Rust | BSD-2-Clause | — |
| hardenedlinux/sonicboom | 原生 C++/CUDA 张量运行时，通过稳定 C ABI 在本地执行量化 GGUF 模型。 | ★ 5 | C++ | GPL-3.0 | — |
| cosmonomic/pulsarlm | 删除旧的低注意力令牌，以保持聊天机器人和智能体上下文精简的 LLM 推理引擎。 | ★ 4 | C++ | Apache-2.0 | — |