Apple Silicon 推論
Apple Silicon、MLX、Metal、Apple統合メモリに主として特化した完全なローカルモデル実行エンジン。独立カーネル、本番サービング、制約のあるモバイル・組込み端末を主対象とするランタイムは除き、Apple製ハードウェアでもそれらを優先する。
| プロジェクト | 用途 | スター | 言語 | ライセンス | 最新リリース |
|---|---|---|---|---|---|
| jundot/omlx | OMLX は Apple Silicon 向けローカル LLM 推論サーバーで、継続バッチ、SSD/KV キャッシュ、メニューバー管理を提供します。 | ★ 22.9K | Python | Apache-2.0 | v0.7.1rc1 |
| lithos-ai/lithos-metal | Apple Silicon 向けに Metal メガカーネルと投機的デコーディングを備えた完全なローカル LLM 推論エンジンです。 | ★ 290 | Python | Apache-2.0 | v0.1.2 |
| 1picassoai/coachwhip | Apple Silicon専用のMoE推論エンジンが大規模モデルをオフラインでローカル実行し、OpenAI互換APIを提供します。 | ★ 58 | Metal | Apache-2.0 | v0.5.3 |