ローカル推論エンジン
利用者自身のCPU、GPU、NPU、Apple Siliconで学習済みモデルを実行する独立したエンジンとライブラリです。まずllm-inferenceで定義した完全なエンジンの分類優先順位を適用します。本番・分散サービングとリソース制約のある機器向けランタイムは別の分類に属します。モダリティ特化エンジンは、Apple専用またはその他のハードウェア専用という特化が優先される場合を除き、multimodal-runtime-inferenceに属します。モデル成果物、学習ツール、ランタイム管理ユーティリティ、ハードウェア適合性の見積もりツールは除きます。
詳細分野
Apple Silicon 推論
Apple Silicon、MLX、Metal、Apple統合メモリに主として特化した完全なローカルモデル実行エンジン。独立カーネル、本番サービング、制約のあるモバイル・組込み端末を主対象とするランタイムは除き、Apple製ハードウェアでもそれらを優先する。
3 件のプロジェクト汎用ローカルエンジン
多様なモデルアーキテクチャと量子化形式をローカルハードウェアで実行するように設計された移植可能な推論エンジン。特定 GPU ベンダー専用フォークとデスクトップモデルランチャーは含まない。
8 件のプロジェクトハードウェア特化エンジン
Apple以外の特定アクセラレーターやハードウェア構成を主対象とする完全なローカル推論エンジン、または性能特化フォーク。独立カーネル、本番サービング、制約端末ランタイム、Apple専用エンジン、そのハードウェアにも対応するだけの可搬型エンジンは除く。
11 件のプロジェクト| プロジェクト | 用途 | スター | 言語 | ライセンス | 最新リリース |
|---|---|---|---|---|---|
| ollama/ollama | 多種多様なオープンモデルをローカルまたはクラウドで実行する汎用推論エンジンです。 | ★ 183.7K | Go | MIT | v0.40.6 |
| ggml-org/llama.cpp | 大規模言語モデルをローカル実行する汎用 C/C++ 推論エンジンです。 | ★ 131.6K | C++ | MIT | b11719 |
| niko1221/strata | Qwen3.8-Flash-Nextをワンクリックで導入し、OpenAI・Anthropic互換APIをローカル提供する実行エンジンです。 | ★ 27.3K | C++ | MIT | v0.1.45 |
| antirez/ds4 | 特定の DeepSeek、GLM、Qwen モデルを Metal、CUDA、ROCm 上でローカル実行し、SSD ストリーミングに対応します。 | ★ 23.9K | C | MIT | — |
| jundot/omlx | OMLX は Apple Silicon 向けローカル LLM 推論サーバーで、継続バッチ、SSD/KV キャッシュ、メニューバー管理を提供します。 | ★ 22.9K | Python | Apache-2.0 | v0.7.1rc1 |
| flashml-org/freetoken | GPU・CPU・ホストメモリを連携し巨大MoEモデルをローカルでサービングするエンジン。 | ★ 14.6K | Python | Apache-2.0 | v0.1.3 |
| magnitudedev/magnitude | ローカルモデルのカーネルをハードウェア上で自動調整し、CPUや複数GPUで実行する汎用エンジンです。 | ★ 7K | Rust | Apache-2.0 | @magnitudedev/cli@0.2.9 |
| syv-ai/hyperqwen | vLLMをパッチ・最適化し、単一24GB CUDA GPUで大型Qwenモデルを高速にサービングします。 | ★ 2.1K | Python | Apache-2.0 | — |
| fesens/opentpu | Kintex-7 PCIe カードで Qwen モデルを実行するハードウェアアクセラレータスタックです。 | ★ 768 | Verilog | Apache-2.0 | — |
| warpfront/hipfire | AMD RDNA GPU向けの完全なRust LLM推論エンジンで、HIP/ROCmカーネルとOpenAI互換サーバを備えます。 | ★ 692 | Rust | NOASSERTION | v0.4.2.1 |
| lithos-ai/lithos-metal | Apple Silicon 向けに Metal メガカーネルと投機的デコーディングを備えた完全なローカル LLM 推論エンジンです。 | ★ 290 | Python | Apache-2.0 | v0.1.2 |
| indras-mirror/xolotl | 1枚のRTX 4090でMoE专家をVRAM・RAM・NVMeに階層配置し、超大型言語モデルを実行します。 | ★ 88 | C++ | MIT | — |
| jesdga95/basalt | NVIDIA Blackwell ワークステーションで Qwen MoE モデルをローカル実行するエンジンです。 | ★ 72 | C++ | MIT | — |
| professorpalmer/bonsai-ada-surgery | PrismML版llama.cppの分岐とレシピで、RTX 4070にq8_0 KVを使って262KコンテキストのBonsai 2 27Bを動かします。 | ★ 70 | Python | NOASSERTION | bundle-20261018 |
| lateos-ai/reflex | CUDAでGGUFモデルを実行し、リアルタイムのエージェント判断を支援するRust推論エンジンです。 | ★ 62 | Rust | MIT | v0.2.9-runpod-hub |
| shawnshekari/strixite | AMD Strix Halo gfx1151とQwen3.8-Flash-Next向けに設計されたHIPベースローカル推論エンジンです。 | ★ 60 | C++ | AGPL-3.0 | v0.3.1 |
| 1picassoai/coachwhip | Apple Silicon専用のMoE推論エンジンが大規模モデルをオフラインでローカル実行し、OpenAI互換APIを提供します。 | ★ 58 | Metal | Apache-2.0 | v0.5.3 |
| jitllm/jitllm | Go製のハードウェア適応型推論エンジンで、JIT生成したCPU/GPUカーネルでメモリを超えるモデルを実行します。 | ★ 48 | Go | Apache-2.0 | v0.2.6 |
| valeriodolci/capy-flash | Qwen MoEモデルをRTX 5070 Ti 2枚でNVFP4と张量並列により実行します。 | ★ 44 | C++ | Apache-2.0 | v0.5.4 |
| seuros/mdma | 複数のCPU・GPU・TPUバックエンドでGGUFをローカル実行する完全な推論エンジンです。 | ★ 14 | Rust | BSD-2-Clause | — |
| hardenedlinux/sonicboom | 安定C ABIを備えたC++/CUDAのネイティブ・テンソルランタイムで、量子化GGUFモデルをローカル実行します。 | ★ 5 | C++ | GPL-3.0 | — |
| cosmonomic/pulsarlm | 古い低注目度トークンを削除してチャットボットとエージェントの文脈を小さく保つLLM推論エンジン。 | ★ 4 | C++ | Apache-2.0 | — |