nace-ai/kapitsa 的最新版本是 v0.1.36。该仓库是一个 C++ 推理引擎,用于在 Apple 芯片上运行 Qwen 和 Nemotron 系列模型。不过,所提供的信息中没有列出 v0.1.36 的变更内容,因此无法确认本次发布的具体改动。
项目说明称,它集成了模型加载、计算内核和服务器,并提供 Metal 计算内核以及针对各个模型的实现。推测解码(speculative decoding)也在集成范围内。这种方式是先由小模型生成候选词元,再由大模型加以验证,从而帮助生成过程。README 表示,它还提供兼容 OpenAI 和 Anthropic 的 API 接口以及聊天界面。其特点是作为面向 Apple 芯片的运行环境,具备可与现有应用连接的兼容服务器。仓库中还包含文档、测试文件和测量工具。
性能表来自作者自己的测量结果,本次分析未独立复现。因此仅凭公布的数值,难以就与其他运行环境或模型之间的速度差异下定论。也未给出 v0.1.36 的变更记录,因而判断性能或功能是否有所改进的依据有限。可以确认的配置和 API 兼容性体现了项目的范围,但性能方面的主张仍需另行验证。