专用硬件引擎
主要专用于某种非 Apple 加速器或硬件架构的完整本地推理引擎或性能分支。不包括独立内核、生产服务、受限设备运行时、Apple 专用引擎，以及仅支持该硬件的可移植引擎。
| 项目 | 用途 | Star | 语言 | 许可证 | 最新版本 |
|---|---|---|---|---|---|
| syv-ai/hyperqwen | 通过补丁和优化 vLLM，在单张 24GB CUDA GPU 上快速服务大型 Qwen 模型。 | ★ 2.1K | Python | Apache-2.0 | — |
| fesens/opentpu | 在 Kintex-7 PCIe 卡上运行 Qwen 模型的硬件加速器栈。 | ★ 768 | Verilog | Apache-2.0 | — |
| warpfront/hipfire | 面向AMD RDNA GPU的完整Rust LLM推理引擎，原生支持HIP/ROCm内核和OpenAI兼容服务。 | ★ 692 | Rust | NOASSERTION | v0.4.2.1 |
| indras-mirror/xolotl | 在单张RTX 4090上将MoE专家分层置于显存、内存和NVMe中，运行超大语言模型。 | ★ 88 | C++ | MIT | — |
| jesdga95/basalt | 用于在 NVIDIA Blackwell 工作站上本地运行 Qwen MoE 模型的推理引擎。 | ★ 72 | C++ | MIT | — |
| professorpalmer/bonsai-ada-surgery | PrismML 版 llama.cpp 分支与配方，用 q8_0 KV 在 RTX 4070 上运行 262K 上下文的 Bonsai 2 27B。 | ★ 70 | Python | NOASSERTION | bundle-20261018 |
| lateos-ai/reflex | 在CUDA上运行GGUF模型以支持实时智能体决策的Rust推理引擎。 | ★ 62 | Rust | MIT | v0.2.9-runpod-hub |
| shawnshekari/strixite | 为AMD Strix Halo gfx1151和Qwen3.8-Flash-Next打造的HIP本地推理引擎。 | ★ 60 | C++ | AGPL-3.0 | v0.3.1 |
| valeriodolci/capy-flash | 在双RTX 5070 Ti上以NVFP4和张量并行运行Qwen MoE模型，并将专家卸载至CPU。 | ★ 44 | C++ | Apache-2.0 | v0.5.4 |
| hardenedlinux/sonicboom | 原生 C++/CUDA 张量运行时，通过稳定 C ABI 在本地执行量化 GGUF 模型。 | ★ 5 | C++ | GPL-3.0 | — |
| cosmonomic/pulsarlm | 删除旧的低注意力令牌，以保持聊天机器人和智能体上下文精简的 LLM 推理引擎。 | ★ 4 | C++ | Apache-2.0 | — |