github.devotd.
发布推理与服务

nace-ai/kapitsa v0.1.36 — 整理模型要求与基准测试表

nace-ai/kapitsa v0.1.36 整理了各模型的要求和对比基准测试表,并探讨了 M1 的线程设置问题与 macOS 14 构建兼容性。

仓库信息nace-ai/kapitsa ↗

Blazing fast Apple Silicon optimized inference engine built for Qwen and Nemotron. OpenAI + Anthropic API compatible. Built by folks from nace.ai

星标
★ 95
复刻
1
语言
C++
许可证
Apache-2.0
最新版本
v0.1.36
查看原始来源 ↗在 GitHub 查看 ↗

nace-ai/kapitsa v0.1.36 是一次更新,面向在 Apple Silicon 上运行 Qwen 与 Nemotron 推理的引擎。本次发布整理了各模型的要求和内存信息,并细化了跨模型的对比基准测试表。此外还探讨了在 M1 上编译内核所用线程数与执行线程数不一致时服务器会中止的问题,并补齐了 macOS 14 的构建兼容性。变更内容记录在 GitHub 的 v0.1.36 发布说明中。

Kapitsa 被介绍为针对 Apple Silicon 优化的推理引擎,目标模型为 Qwen 和 Nemotron。仓库说明还指出,它提供与 OpenAI 和 Anthropic API 兼容的接口。在本次变更中,各模型要求与内存信息的整理让用户在开始使用前能够确认所需条件,而对比基准测试表则整理了查看各模型结果所需的资料。不过所提供的事实中没有表格的实际数值,也没有测量条件。

因此,本次发布中可以确认的是文档与表格的整理、由 M1 线程设置引发的服务器中止问题,以及对 macOS 14 构建兼容性的补齐。仅凭整理了表格这一事实,无法判断某个模型的优劣或实际推理速度。给出的发布摘要中没有提供性能数值和测量环境,涉及的对象也仅限于基于 Apple Silicon 的 Qwen 与 Nemotron 推理。因此,与其把它当作覆盖其他硬件或模型的性能评估,更准确的做法是把它视为针对已明确环境的变更记录。