incoai/splash 是一款在 Apple 芯片上运行语言模型的本地推理引擎。最新版本是 1.3.2。所提供的 FACTS 中未列出该版本有变更的项目。它使用 C++、Metal 和 Python 编写,采用 Apache-2.0 许可证。
该引擎用于在单台 Mac 上运行编码智能体以及兼容 OpenAI 和 Anthropic 的服务器。它默认启用 DFlash 2 推测解码,并在专用 Metal 内核之外,利用 Apple Neural Engine 进行 FFN 计算。27B 模型在默认设置下使用该路径。KV 页面层级和内存调控器会根据模型管理内存。它还支持视觉、工具调用和内置聊天页面,复用缓存前缀并合并并发请求。
性能对比是项目自建的基准测试,使用相同的 Unsloth UD-Q4_K_M 文件在 M5 Pro 和 M3 Max 上与 llama.cpp 进行比较。文档还给出了 27B 模型的首位词元一致率,但没有第三方复现。该对比以 llama.cpp 的默认设置为基准,因此速度优势不能视为普遍结论。基准测试和回归脚本是公开的,可以查看测量依据,但判断性能仍需要独立的复现。