汎用ローカルエンジン
多様なモデルアーキテクチャと量子化形式をローカルハードウェアで実行するように設計された移植可能な推論エンジン。特定 GPU ベンダー専用フォークとデスクトップモデルランチャーは含まない。
| プロジェクト | 用途 | スター | 言語 | ライセンス | 最新リリース |
|---|---|---|---|---|---|
| ollama/ollama | 多種多様なオープンモデルをローカルまたはクラウドで実行する汎用推論エンジンです。 | ★ 183.7K | Go | MIT | v0.40.6 |
| ggml-org/llama.cpp | 大規模言語モデルをローカル実行する汎用 C/C++ 推論エンジンです。 | ★ 131.6K | C++ | MIT | b11719 |
| niko1221/strata | Qwen3.8-Flash-Nextをワンクリックで導入し、OpenAI・Anthropic互換APIをローカル提供する実行エンジンです。 | ★ 27.3K | C++ | MIT | v0.1.45 |
| antirez/ds4 | 特定の DeepSeek、GLM、Qwen モデルを Metal、CUDA、ROCm 上でローカル実行し、SSD ストリーミングに対応します。 | ★ 23.9K | C | MIT | — |
| flashml-org/freetoken | GPU・CPU・ホストメモリを連携し巨大MoEモデルをローカルでサービングするエンジン。 | ★ 14.6K | Python | Apache-2.0 | v0.1.3 |
| magnitudedev/magnitude | ローカルモデルのカーネルをハードウェア上で自動調整し、CPUや複数GPUで実行する汎用エンジンです。 | ★ 7K | Rust | Apache-2.0 | @magnitudedev/cli@0.2.9 |
| jitllm/jitllm | Go製のハードウェア適応型推論エンジンで、JIT生成したCPU/GPUカーネルでメモリを超えるモデルを実行します。 | ★ 48 | Go | Apache-2.0 | v0.2.6 |
| seuros/mdma | 複数のCPU・GPU・TPUバックエンドでGGUFをローカル実行する完全な推論エンジンです。 | ★ 14 | Rust | BSD-2-Clause | — |