github.devotd.

Apple Silicon 推理

主要针对 Apple Silicon、MLX、Metal 或 Apple 统一内存优化的完整本地模型执行引擎。不包括独立内核、生产服务系统,以及主要面向受限移动或嵌入式设备的运行时;即使使用 Apple 硬件,也优先归入这些类别。

该领域的项目 (3)
项目用途Star语言许可证最新版本
jundot/omlxOMLX 是一款 Apple Silicon 本地 LLM 推理服务器,支持连续批处理、SSD/KV 缓存和菜单栏管理。★ 22.9KPythonApache-2.0v0.7.1rc1
lithos-ai/lithos-metal一款面向 Apple 芯片、采用 Metal 巨内核和推测解码的完整本地 LLM 推理引擎。★ 290PythonApache-2.0v0.1.2
1picassoai/coachwhipApple Silicon 专用 MoE 推理引擎在本地离线运行大模型,并提供 OpenAI 兼容 API。★ 58MetalApache-2.0v0.5.3