Apple Silicon 推理
主要针对 Apple Silicon、MLX、Metal 或 Apple 统一内存优化的完整本地模型执行引擎。不包括独立内核、生产服务系统,以及主要面向受限移动或嵌入式设备的运行时;即使使用 Apple 硬件,也优先归入这些类别。
| 项目 | 用途 | Star | 语言 | 许可证 | 最新版本 |
|---|---|---|---|---|---|
| jundot/omlx | OMLX 是一款 Apple Silicon 本地 LLM 推理服务器,支持连续批处理、SSD/KV 缓存和菜单栏管理。 | ★ 22.9K | Python | Apache-2.0 | v0.7.1rc1 |
| lithos-ai/lithos-metal | 一款面向 Apple 芯片、采用 Metal 巨内核和推测解码的完整本地 LLM 推理引擎。 | ★ 291 | Python | Apache-2.0 | v0.1.2 |
| 1picassoai/coachwhip | Apple Silicon 专用 MoE 推理引擎在本地离线运行大模型,并提供 OpenAI 兼容 API。 | ★ 58 | Metal | Apache-2.0 | v0.5.3 |