ハードウェア特化エンジン
Apple以外の特定アクセラレーターやハードウェア構成を主対象とする完全なローカル推論エンジン、または性能特化フォーク。独立カーネル、本番サービング、制約端末ランタイム、Apple専用エンジン、そのハードウェアにも対応するだけの可搬型エンジンは除く。
| プロジェクト | 用途 | スター | 言語 | ライセンス | 最新リリース |
|---|---|---|---|---|---|
| syv-ai/hyperqwen | vLLMをパッチ・最適化し、単一24GB CUDA GPUで大型Qwenモデルを高速にサービングします。 | ★ 2.1K | Python | Apache-2.0 | — |
| fesens/opentpu | Kintex-7 PCIe カードで Qwen モデルを実行するハードウェアアクセラレータスタックです。 | ★ 766 | Verilog | Apache-2.0 | — |
| warpfront/hipfire | AMD RDNA GPU向けの完全なRust LLM推論エンジンで、HIP/ROCmカーネルとOpenAI互換サーバを備えます。 | ★ 692 | Rust | NOASSERTION | v0.4.2.1 |
| indras-mirror/xolotl | 1枚のRTX 4090でMoE专家をVRAM・RAM・NVMeに階層配置し、超大型言語モデルを実行します。 | ★ 81 | C++ | MIT | — |
| jesdga95/basalt | NVIDIA Blackwell ワークステーションで Qwen MoE モデルをローカル実行するエンジンです。 | ★ 72 | C++ | MIT | — |
| professorpalmer/bonsai-ada-surgery | PrismML版llama.cppの分岐とレシピで、RTX 4070にq8_0 KVを使って262KコンテキストのBonsai 2 27Bを動かします。 | ★ 70 | Python | NOASSERTION | bundle-20261017b |
| lateos-ai/reflex | CUDAでGGUFモデルを実行し、リアルタイムのエージェント判断を支援するRust推論エンジンです。 | ★ 62 | Rust | MIT | v0.2.9-runpod-hub |
| shawnshekari/strixite | AMD Strix Halo gfx1151とQwen3.8-Flash-Next向けに設計されたHIPベースローカル推論エンジンです。 | ★ 60 | C++ | AGPL-3.0 | v0.3.1 |
| valeriodolci/capy-flash | Qwen MoEモデルをRTX 5070 Ti 2枚でNVFP4と张量並列により実行します。 | ★ 44 | C++ | Apache-2.0 | v0.5.4 |
| hardenedlinux/sonicboom | 安定C ABIを備えたC++/CUDAのネイティブ・テンソルランタイムで、量子化GGUFモデルをローカル実行します。 | ★ 5 | C++ | GPL-3.0 | — |
| cosmonomic/pulsarlm | 古い低注目度トークンを削除してチャットボットとエージェントの文脈を小さく保つLLM推論エンジン。 | ★ 4 | C++ | Apache-2.0 | — |