zevin17/deepinfer-mac — 面向 Apple Silicon 的 MLX 本地推理

zevin17/deepinfer-mac 是一个 Python 推理框架，可在 Apple Silicon 上用 MLX 运行本地模型。它是移植了 DeepInfer 调度组件的社区版本。仓库说明称其提供本地推理与 API，以及可复现的基准测试。目前没有公开的发布版本。

命令行、Python 接口、兼容的对话 API 和浏览器界面都使用同一个执行器。项目把 DeepInfer 通过草稿与验证调度来引导推理的方式应用到 MLX 执行中。草稿接受率是指先生成的草稿答案被验证阶段原样接受的比例。这一方式会同时关注草稿接受率和总体成本，本地执行流程中也涵盖上下文复用与状态保存。文档区分了默认路径与自适应路径，并说明依据模型和缓存功能所带来的执行与状态复用差异。许可证为 Apache-2.0。

README 列出了 Qwen 与 SmolLM2 在各路径上的验证范围，也留有仍需确认的组合。性能记录仅限于特定设备与运行条件，未给出独立复现的结果。因此，即使它宣称提供可复现的基准测试，仅凭公开的性能数值仍难以判断设备之间的优劣或一般性能。