モデル推論
学習済みモデルを実行する再利用可能なエンジン、サービング、カーネル、キャッシュ、ユーティリティ。まず主な提供部品で分類し、管理ツール・メモリ機構・カーネルが主製品なら同梱エンジンより優先する。完全なエンジンは本番・分散サービング、制約端末での実行、Apple専用ローカルエンジン、その他のハードウェア専用ローカルエンジン、モダリティ特化エンジン、可搬型ローカルエンジンの順に優先する。ハードウェア対応やマルチモーダル対応だけでは特化としない。モデル成果物、学習ツール、エージェントループ、利用者向け制作アプリは除く。
詳細分野
組込みデバイス推論
マイクロコントローラ、スマートフォン、ゲームコンソール、その他のリソース受限デバイス向けの軽量推論ランタイム。フルサーバークラスタとローカルモデル実行を伴わない汎用組込みエージェントフレームワークは含まない。
1 件のプロジェクト推論メモリとキャッシュ
推論時にモデルの重み、活性化値、アテンション状態、または KV キャッシュのメモリ量を削減または仮想化する技術。展開前に行われる品質損失を伴うモデル量子化と通常の RAM 管理は含まない。
3 件のプロジェクトローカル推論エンジン
利用者自身のCPU、GPU、NPU、Apple Siliconで学習済みモデルを実行する独立したエンジンとライブラリです。まずllm-inferenceで定義した完全なエンジンの分類優先順位を適用します。本番・分散サービングとリソース制約のある機器向けランタイムは別の分類に属します。モダリティ特化エンジンは、Apple専用またはその他のハードウェア専用という特化が優先される場合を除き、multimodal-runtime-inferenceに属します。モデル成果物、学習ツール、ランタイム管理ユーティリティ、ハードウェア適合性の見積もりツールは除きます。
22 件のプロジェクトモデルランタイムツール
ハードウェアに合うモデルの選択、ランタイムの起動、使用状況の監視、ローカルモデルファイルの管理を行うユーティリティ。推論エンジン自体と汎用 LLM API ルーティングは含まない。
2 件のプロジェクトマルチモーダルランタイム推論
画像、音声、動画、視覚言語、統合マルチモーダルモデルに主として特化した再利用可能な実行エンジン。先にllm-inferenceで定める完全なエンジンの配備・ハードウェア優先順位を適用する。モデル公開物、学習ツール、利用者向けメディア制作工程、マルチモーダル対応が付随的な汎用エンジンは除く。
2 件のプロジェクト| プロジェクト | 用途 | スター | 言語 | ライセンス | 最新リリース |
|---|---|---|---|---|---|
| ollama/ollama | 多種多様なオープンモデルをローカルまたはクラウドで実行する汎用推論エンジンです。 | ★ 183.7K | Go | MIT | v0.40.6 |
| ggml-org/llama.cpp | 大規模言語モデルをローカル実行する汎用 C/C++ 推論エンジンです。 | ★ 131.6K | C++ | MIT | b11719 |
| alexsjones/llmfit | LLMFitはCPU、メモリ、GPU、VRAM、アクセラレータを確認し、適合する量子化モデルを絞り込むローカル選定ツールです。 | ★ 38.1K | Rust | MIT | v1.1.17 |
| niko1221/strata | Qwen3.8-Flash-Nextをワンクリックで導入し、OpenAI・Anthropic互換APIをローカル提供する実行エンジンです。 | ★ 27.3K | C++ | MIT | v0.1.45 |
| antirez/ds4 | 特定の DeepSeek、GLM、Qwen モデルを Metal、CUDA、ROCm 上でローカル実行し、SSD ストリーミングに対応します。 | ★ 23.9K | C | MIT | — |
| jundot/omlx | OMLX は Apple Silicon 向けローカル LLM 推論サーバーで、継続バッチ、SSD/KV キャッシュ、メニューバー管理を提供します。 | ★ 22.9K | Python | Apache-2.0 | v0.7.1rc1 |
| flashml-org/freetoken | GPU・CPU・ホストメモリを連携し巨大MoEモデルをローカルでサービングするエンジン。 | ★ 14.6K | Python | Apache-2.0 | v0.1.3 |
| magnitudedev/magnitude | ローカルモデルのカーネルをハードウェア上で自動調整し、CPUや複数GPUで実行する汎用エンジンです。 | ★ 7K | Rust | Apache-2.0 | @magnitudedev/cli@0.2.9 |
| flashml-org/freevideo | MiniMax H3動画モデルをコンシューマーGPUで効率的に実行するローカル推論エンジンです。 | ★ 2.1K | Python | Apache-2.0 | v0.4.14 |
| syv-ai/hyperqwen | vLLMをパッチ・最適化し、単一24GB CUDA GPUで大型Qwenモデルを高速にサービングします。 | ★ 2.1K | Python | Apache-2.0 | — |
| kvmem/kvmem | KVMem は llama.cpp と NInfer の間で KV メモリを仮想化し、ホストメモリと GPU の間でキャッシュをオフロードします。 | ★ 1.1K | C++ | — | v0.18.0 |
| receptron/laya | Node.jsでLaya ONNX意思決定モデルを実行し、分類確率とスコアを算出します。 | ★ 960 | TypeScript | MIT | v0.2.0 |
| fesens/opentpu | Kintex-7 PCIe カードで Qwen モデルを実行するハードウェアアクセラレータスタックです。 | ★ 768 | Verilog | Apache-2.0 | — |
| warpfront/hipfire | AMD RDNA GPU向けの完全なRust LLM推論エンジンで、HIP/ROCmカーネルとOpenAI互換サーバを備えます。 | ★ 692 | Rust | NOASSERTION | v0.4.2.1 |
| lithos-ai/lithos-metal | Apple Silicon 向けに Metal メガカーネルと投機的デコーディングを備えた完全なローカル LLM 推論エンジンです。 | ★ 290 | Python | Apache-2.0 | v0.1.2 |
| surya-koritala/glyd | GPUメモリのBF16ウェイトとKVキャッシュを可逆圧縮し、実行時に元の値を正確に復元する。 | ★ 255 | Rust | NOASSERTION | v0.32.1 |
| nyosegawa/speech.cpp | ggml 上で音声合成・認識・VAD モデルを複数のハードウェアバックエンドで実行する。 | ★ 180 | C++ | MIT | v0.8.10 |
| indras-mirror/xolotl | 1枚のRTX 4090でMoE专家をVRAM・RAM・NVMeに階層配置し、超大型言語モデルを実行します。 | ★ 88 | C++ | MIT | — |
| jesdga95/basalt | NVIDIA Blackwell ワークステーションで Qwen MoE モデルをローカル実行するエンジンです。 | ★ 72 | C++ | MIT | — |
| professorpalmer/bonsai-ada-surgery | PrismML版llama.cppの分岐とレシピで、RTX 4070にq8_0 KVを使って262KコンテキストのBonsai 2 27Bを動かします。 | ★ 70 | Python | NOASSERTION | bundle-20261018 |
| lateos-ai/reflex | CUDAでGGUFモデルを実行し、リアルタイムのエージェント判断を支援するRust推論エンジンです。 | ★ 62 | Rust | MIT | v0.2.9-runpod-hub |
| shawnshekari/strixite | AMD Strix Halo gfx1151とQwen3.8-Flash-Next向けに設計されたHIPベースローカル推論エンジンです。 | ★ 60 | C++ | AGPL-3.0 | v0.3.1 |
| 1picassoai/coachwhip | Apple Silicon専用のMoE推論エンジンが大規模モデルをオフラインでローカル実行し、OpenAI互換APIを提供します。 | ★ 58 | Metal | Apache-2.0 | v0.5.3 |
| jitllm/jitllm | Go製のハードウェア適応型推論エンジンで、JIT生成したCPU/GPUカーネルでメモリを超えるモデルを実行します。 | ★ 48 | Go | Apache-2.0 | v0.2.6 |
| valeriodolci/capy-flash | Qwen MoEモデルをRTX 5070 Ti 2枚でNVFP4と张量並列により実行します。 | ★ 44 | C++ | Apache-2.0 | v0.5.4 |
| seuros/mdma | 複数のCPU・GPU・TPUバックエンドでGGUFをローカル実行する完全な推論エンジンです。 | ★ 14 | Rust | BSD-2-Clause | — |
| andrei-borcea/liyab | RAM より大きい GGUF モデルをフラッシュからストリーミングし、熱状態に合わせてスマホで実行します。 | ★ 7 | C++ | Apache-2.0 | — |
| hardenedlinux/sonicboom | 安定C ABIを備えたC++/CUDAのネイティブ・テンソルランタイムで、量子化GGUFモデルをローカル実行します。 | ★ 5 | C++ | GPL-3.0 | — |
| cosmonomic/pulsarlm | 古い低注目度トークンを削除してチャットボットとエージェントの文脈を小さく保つLLM推論エンジン。 | ★ 4 | C++ | Apache-2.0 | — |
| srkrz23/vramkit | LLM推論の重みとKVキャッシュを圧縮し、VRAM使用量を減らす実験を提供する。 | ★ 2 | Python | — | — |