模型推理
执行已训练模型的可复用引擎、服务系统、内核、缓存和工具。先按主要交付组件分类：若核心是管理工具、内存机制或内核，不因附带引擎而改变分类。完整引擎的优先顺序为生产或分布式服务、受限设备执行、Apple 专用本地引擎、其他硬件专用本地引擎、模态专用引擎、可移植本地引擎。仅支持某硬件或多模态不足以认定专用性。不包括模型成果、训练工具、智能体循环和终端用户创作应用。
子领域
嵌入式设备推理
用于微控制器、手机、游戏机和其他受限设备的紧凑推理运行时；不包括完整服务器集群和没有本地模型执行功能的通用嵌入式代理框架。
1 个项目推理内存与缓存
在推理期间减少或虚拟化模型权重、激活值、注意力状态或 KV 缓存内存的技术；不包括部署前进行的有损模型量化和常规 RAM 管理。
3 个项目本地推理引擎
在用户自有 CPU、GPU、NPU 或 Apple Silicon 上执行已训练模型的独立引擎与库。首先遵循 llm-inference 定义的完整引擎分类优先级：生产或分布式推理服务、资源受限设备运行时归入其他分支；模态专用引擎归入 multimodal-runtime-inference，除非 Apple 专用或其他硬件专用特性具有更高优先级。不包括模型制品、训练工具、运行时管理工具和硬件适配估算工具。
22 个项目模型运行时工具
用于选择适合硬件的模型、启动运行时、监控使用情况和管理本地模型文件的实用工具；不包括推理引擎本身和通用 LLM API 路由。
2 个项目多模态运行时推理
主要专用于图像、音频、视频、视觉语言或综合多模态模型的可复用执行引擎。先应用 llm-inference 定义的完整引擎部署及硬件优先级。不包括模型发布、训练工具、终端用户媒体流程，以及仅附带多模态支持的通用引擎。
2 个项目| 项目 | 用途 | Star | 语言 | 许可证 | 最新版本 |
|---|---|---|---|---|---|
| ollama/ollama | 可在本地或云端运行多种开放模型的通用推理引擎。 | ★ 183.7K | Go | MIT | v0.40.6 |
| ggml-org/llama.cpp | 一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。 | ★ 131.6K | C++ | MIT | b11719 |
| alexsjones/llmfit | LLMFit 检查 CPU、内存、GPU、VRAM 和加速器配置，并推荐适合本地硬件的量化模型。 | ★ 38.1K | Rust | MIT | v1.1.17 |
| niko1221/strata | 一款为 Qwen3.8-Flash-Next 提供一键安装及本地兼容 API 的完整推理引擎。 | ★ 27.3K | C++ | MIT | v0.1.45 |
| antirez/ds4 | 通过 Metal、CUDA 和 ROCm 在本地运行特定 DeepSeek、GLM 与 Qwen 模型，并支持 SSD 流式加载。 | ★ 23.9K | C | MIT | — |
| jundot/omlx | OMLX 是一款 Apple Silicon 本地 LLM 推理服务器，支持连续批处理、SSD/KV 缓存和菜单栏管理。 | ★ 22.9K | Python | Apache-2.0 | v0.7.1rc1 |
| flashml-org/freetoken | 在GPU、CPU和主机内存上本地服务超大MoE模型的推理引擎。 | ★ 14.6K | Python | Apache-2.0 | v0.1.3 |
| magnitudedev/magnitude | 一款针对本机硬件自动调优内核、跨 CPU 与多家 GPU 运行本地模型的通用推理引擎。 | ★ 7K | Rust | Apache-2.0 | @magnitudedev/cli@0.2.9 |
| flashml-org/freevideo | 一款在消费级 GPU 上高效运行 MiniMax H3 视频模型的本地推理引擎。 | ★ 2.1K | Python | Apache-2.0 | v0.4.14 |
| syv-ai/hyperqwen | 通过补丁和优化 vLLM，在单张 24GB CUDA GPU 上快速服务大型 Qwen 模型。 | ★ 2.1K | Python | Apache-2.0 | — |
| kvmem/kvmem | KVMem 在 llama.cpp 与 NInfer 之间虚拟化 KV 内存，在主机内存和 GPU 之间卸载缓存。 | ★ 1.1K | C++ | — | v0.18.0 |
| receptron/laya | 在 Node.js 中运行 Laya ONNX 决策模型，输出校准后的分类概率和分数。 | ★ 960 | TypeScript | MIT | v0.2.0 |
| fesens/opentpu | 在 Kintex-7 PCIe 卡上运行 Qwen 模型的硬件加速器栈。 | ★ 768 | Verilog | Apache-2.0 | — |
| warpfront/hipfire | 面向AMD RDNA GPU的完整Rust LLM推理引擎，原生支持HIP/ROCm内核和OpenAI兼容服务。 | ★ 692 | Rust | NOASSERTION | v0.4.2.1 |
| lithos-ai/lithos-metal | 一款面向 Apple 芯片、采用 Metal 巨内核和推测解码的完整本地 LLM 推理引擎。 | ★ 290 | Python | Apache-2.0 | v0.1.2 |
| surya-koritala/glyd | 无损运行时编解码器可压缩GPU内存中的BF16权重和KV缓存，并精确恢复原值。 | ★ 255 | Rust | NOASSERTION | v0.32.1 |
| nyosegawa/speech.cpp | 基于 ggml 在多种硬件后端上运行语音合成、识别和 VAD 模型。 | ★ 180 | C++ | MIT | v0.8.10 |
| indras-mirror/xolotl | 在单张RTX 4090上将MoE专家分层置于显存、内存和NVMe中，运行超大语言模型。 | ★ 88 | C++ | MIT | — |
| jesdga95/basalt | 用于在 NVIDIA Blackwell 工作站上本地运行 Qwen MoE 模型的推理引擎。 | ★ 72 | C++ | MIT | — |
| professorpalmer/bonsai-ada-surgery | PrismML 版 llama.cpp 分支与配方，用 q8_0 KV 在 RTX 4070 上运行 262K 上下文的 Bonsai 2 27B。 | ★ 70 | Python | NOASSERTION | bundle-20261018 |
| lateos-ai/reflex | 在CUDA上运行GGUF模型以支持实时智能体决策的Rust推理引擎。 | ★ 62 | Rust | MIT | v0.2.9-runpod-hub |
| shawnshekari/strixite | 为AMD Strix Halo gfx1151和Qwen3.8-Flash-Next打造的HIP本地推理引擎。 | ★ 60 | C++ | AGPL-3.0 | v0.3.1 |
| 1picassoai/coachwhip | Apple Silicon 专用 MoE 推理引擎在本地离线运行大模型，并提供 OpenAI 兼容 API。 | ★ 58 | Metal | Apache-2.0 | v0.5.3 |
| jitllm/jitllm | 一个基于 Go 的硬件自适应推理引擎，通过 JIT 生成 CPU/GPU 内核运行超出内存的模型。 | ★ 48 | Go | Apache-2.0 | v0.2.6 |
| valeriodolci/capy-flash | 在双RTX 5070 Ti上以NVFP4和张量并行运行Qwen MoE模型，并将专家卸载至CPU。 | ★ 44 | C++ | Apache-2.0 | v0.5.4 |
| seuros/mdma | 支持多种CPU、GPU和TPU后端并本地运行GGUF的完整推理引擎。 | ★ 14 | Rust | BSD-2-Clause | — |
| andrei-borcea/liyab | 通过从闪存流式加载超出内存的 GGUF 模型，并适应热状态，在手机上运行语言模型。 | ★ 7 | C++ | Apache-2.0 | — |
| hardenedlinux/sonicboom | 原生 C++/CUDA 张量运行时，通过稳定 C ABI 在本地执行量化 GGUF 模型。 | ★ 5 | C++ | GPL-3.0 | — |
| cosmonomic/pulsarlm | 删除旧的低注意力令牌，以保持聊天机器人和智能体上下文精简的 LLM 推理引擎。 | ★ 4 | C++ | Apache-2.0 | — |
| srkrz23/vramkit | 提供用于压缩LLM推理权重和KV缓存的实验方案，以减少显存占用。 | ★ 2 | Python | — | — |