github.devotd.

モデル推論

学習済みモデルを実行する再利用可能なエンジン、サービング、カーネル、キャッシュ、ユーティリティ。まず主な提供部品で分類し、管理ツール・メモリ機構・カーネルが主製品なら同梱エンジンより優先する。完全なエンジンは本番・分散サービング、制約端末での実行、Apple専用ローカルエンジン、その他のハードウェア専用ローカルエンジン、モダリティ特化エンジン、可搬型ローカルエンジンの順に優先する。ハードウェア対応やマルチモーダル対応だけでは特化としない。モデル成果物、学習ツール、エージェントループ、利用者向け制作アプリは除く。

詳細分野

組込みデバイス推論

マイクロコントローラ、スマートフォン、ゲームコンソール、その他のリソース受限デバイス向けの軽量推論ランタイム。フルサーバークラスタとローカルモデル実行を伴わない汎用組込みエージェントフレームワークは含まない。

1 件のプロジェクト

推論メモリとキャッシュ

推論時にモデルの重み、活性化値、アテンション状態、または KV キャッシュのメモリ量を削減または仮想化する技術。展開前に行われる品質損失を伴うモデル量子化と通常の RAM 管理は含まない。

3 件のプロジェクト

ローカル推論エンジン

利用者自身のCPU、GPU、NPU、Apple Siliconで学習済みモデルを実行する独立したエンジンとライブラリです。まずllm-inferenceで定義した完全なエンジンの分類優先順位を適用します。本番・分散サービングとリソース制約のある機器向けランタイムは別の分類に属します。モダリティ特化エンジンは、Apple専用またはその他のハードウェア専用という特化が優先される場合を除き、multimodal-runtime-inferenceに属します。モデル成果物、学習ツール、ランタイム管理ユーティリティ、ハードウェア適合性の見積もりツールは除きます。

22 件のプロジェクト

モデルランタイムツール

ハードウェアに合うモデルの選択、ランタイムの起動、使用状況の監視、ローカルモデルファイルの管理を行うユーティリティ。推論エンジン自体と汎用 LLM API ルーティングは含まない。

2 件のプロジェクト

マルチモーダルランタイム推論

画像、音声、動画、視覚言語、統合マルチモーダルモデルに主として特化した再利用可能な実行エンジン。先にllm-inferenceで定める完全なエンジンの配備・ハードウェア優先順位を適用する。モデル公開物、学習ツール、利用者向けメディア制作工程、マルチモーダル対応が付随的な汎用エンジンは除く。

2 件のプロジェクト
この分野のプロジェクト (30)
プロジェクト用途スター言語ライセンス最新リリース
ollama/ollama多種多様なオープンモデルをローカルまたはクラウドで実行する汎用推論エンジンです。★ 183.7KGoMITv0.40.6
ggml-org/llama.cpp大規模言語モデルをローカル実行する汎用 C/C++ 推論エンジンです。★ 131.6KC++MITb11719
alexsjones/llmfitLLMFitはCPU、メモリ、GPU、VRAM、アクセラレータを確認し、適合する量子化モデルを絞り込むローカル選定ツールです。★ 38.1KRustMITv1.1.17
niko1221/strataQwen3.8-Flash-Nextをワンクリックで導入し、OpenAI・Anthropic互換APIをローカル提供する実行エンジンです。★ 27.3KC++MITv0.1.45
antirez/ds4特定の DeepSeek、GLM、Qwen モデルを Metal、CUDA、ROCm 上でローカル実行し、SSD ストリーミングに対応します。★ 23.9KCMIT—
jundot/omlxOMLX は Apple Silicon 向けローカル LLM 推論サーバーで、継続バッチ、SSD/KV キャッシュ、メニューバー管理を提供します。★ 22.9KPythonApache-2.0v0.7.1rc1
flashml-org/freetokenGPU・CPU・ホストメモリを連携し巨大MoEモデルをローカルでサービングするエンジン。★ 14.6KPythonApache-2.0v0.1.3
magnitudedev/magnitudeローカルモデルのカーネルをハードウェア上で自動調整し、CPUや複数GPUで実行する汎用エンジンです。★ 7KRustApache-2.0@magnitudedev/cli@0.2.9
flashml-org/freevideoMiniMax H3動画モデルをコンシューマーGPUで効率的に実行するローカル推論エンジンです。★ 2.1KPythonApache-2.0v0.4.14
syv-ai/hyperqwenvLLMをパッチ・最適化し、単一24GB CUDA GPUで大型Qwenモデルを高速にサービングします。★ 2.1KPythonApache-2.0—
kvmem/kvmemKVMem は llama.cpp と NInfer の間で KV メモリを仮想化し、ホストメモリと GPU の間でキャッシュをオフロードします。★ 1.1KC++—v0.18.0
receptron/layaNode.jsでLaya ONNX意思決定モデルを実行し、分類確率とスコアを算出します。★ 960TypeScriptMITv0.2.0
fesens/opentpuKintex-7 PCIe カードで Qwen モデルを実行するハードウェアアクセラレータスタックです。★ 768VerilogApache-2.0—
warpfront/hipfireAMD RDNA GPU向けの完全なRust LLM推論エンジンで、HIP/ROCmカーネルとOpenAI互換サーバを備えます。★ 692RustNOASSERTIONv0.4.2.1
lithos-ai/lithos-metalApple Silicon 向けに Metal メガカーネルと投機的デコーディングを備えた完全なローカル LLM 推論エンジンです。★ 290PythonApache-2.0v0.1.2
surya-koritala/glydGPUメモリのBF16ウェイトとKVキャッシュを可逆圧縮し、実行時に元の値を正確に復元する。★ 255RustNOASSERTIONv0.32.1
nyosegawa/speech.cppggml 上で音声合成・認識・VAD モデルを複数のハードウェアバックエンドで実行する。★ 180C++MITv0.8.10
indras-mirror/xolotl1枚のRTX 4090でMoE专家をVRAM・RAM・NVMeに階層配置し、超大型言語モデルを実行します。★ 88C++MIT—
jesdga95/basaltNVIDIA Blackwell ワークステーションで Qwen MoE モデルをローカル実行するエンジンです。★ 72C++MIT—
professorpalmer/bonsai-ada-surgeryPrismML版llama.cppの分岐とレシピで、RTX 4070にq8_0 KVを使って262KコンテキストのBonsai 2 27Bを動かします。★ 70PythonNOASSERTIONbundle-20261018
lateos-ai/reflexCUDAでGGUFモデルを実行し、リアルタイムのエージェント判断を支援するRust推論エンジンです。★ 62RustMITv0.2.9-runpod-hub
shawnshekari/strixiteAMD Strix Halo gfx1151とQwen3.8-Flash-Next向けに設計されたHIPベースローカル推論エンジンです。★ 60C++AGPL-3.0v0.3.1
1picassoai/coachwhipApple Silicon専用のMoE推論エンジンが大規模モデルをオフラインでローカル実行し、OpenAI互換APIを提供します。★ 58MetalApache-2.0v0.5.3
jitllm/jitllmGo製のハードウェア適応型推論エンジンで、JIT生成したCPU/GPUカーネルでメモリを超えるモデルを実行します。★ 48GoApache-2.0v0.2.6
valeriodolci/capy-flashQwen MoEモデルをRTX 5070 Ti 2枚でNVFP4と张量並列により実行します。★ 44C++Apache-2.0v0.5.4
seuros/mdma複数のCPU・GPU・TPUバックエンドでGGUFをローカル実行する完全な推論エンジンです。★ 14RustBSD-2-Clause—
andrei-borcea/liyabRAM より大きい GGUF モデルをフラッシュからストリーミングし、熱状態に合わせてスマホで実行します。★ 7C++Apache-2.0—
hardenedlinux/sonicboom安定C ABIを備えたC++/CUDAのネイティブ・テンソルランタイムで、量子化GGUFモデルをローカル実行します。★ 5C++GPL-3.0—
cosmonomic/pulsarlm古い低注目度トークンを削除してチャットボットとエージェントの文脈を小さく保つLLM推論エンジン。★ 4C++Apache-2.0—
srkrz23/vramkitLLM推論の重みとKVキャッシュを圧縮し、VRAM使用量を減らす実験を提供する。★ 2Python——