github.devotd.
发布推理与服务

nace-ai/kapitsa v0.1.38 — 测量数据与 UTF-8 响应修复

nace-ai/kapitsa v0.1.38 包含了 M1 Pro 16GB 的测量数据,并修复了在响应被截断时返回有效 UTF-8 的问题。

仓库信息nace-ai/kapitsa ↗

Blazing fast Apple Silicon optimized inference engine built for Qwen and Nemotron. OpenAI + Anthropic API compatible. Built by folks from nace.ai

星标
★ 129
复刻
2
语言
C++
许可证
Apache-2.0
最新版本
v0.1.38
查看原始来源 ↗在 GitHub 查看 ↗

nace-ai/kapitsa 发布了 v0.1.38。它是一个针对 Apple Silicon 优化的推理引擎,面向 Qwen 和 Nemotron,并兼容 OpenAI 和 Anthropic API。本次发布包含了 M1 Pro 16GB 环境下的完整测量表以及 Qwen3.5-4B 的流程。还收录了此前版本中测得的 Dory 处理速度内容。同时也加入了处理响应在字符中间被截断这一情况的修复。现在在这种情况下,将返回包含替代字符的有效 UTF-8 响应,而不是错误的 UTF-8。

kapitsa 是运行已训练模型的推理引擎。仓库说明强调了针对 Apple Silicon 的优化以及对 Qwen 和 Nemotron 的支持,并给出与 OpenAI 和 Anthropic API 的兼容性。本次版本的测量数据是 M1 Pro 16GB 环境下的完整表格和 Qwen3.5-4B 流程。Dory 处理速度并不是本次版本新测得的内容,而是作为此前版本测得的内容介绍的。因此,仅凭发布摘要无法确认各项测量值或测量条件的细节。

UTF-8 修复是一项变更,使得即使响应在字符中间中断,也会返回有效的编码。但所提供的 FACTS 中既没有测量表的具体数值,也没有关于 Dory 的说明。因此,仅凭这份资料很难判断模型之间的速度差异或测量结果的意义。要进行性能比较,需要直接查看发布中包含的表格和流程。