ggml-org/llama.cpp 的 release b12180 添加了 Kimi-K3.1-Pro 文本模型。该仓库是用 C 和 C++ 编写的 LLM 推理项目。本次变更的核心是增加了与处理该文本模型所需的注意力配置相关的支持。变更内容记录在 GitHub 的 b12180 发布信息中。
根据发布说明，全部注意力层被替换为 DSA。在 93 层当中，有 24 层叠加了闪电索引器，其余的线性注意力层和混合专家结构则保持不变。因此这并不是把所有层以同样的方式改掉，而是对部分层应用了闪电索引器，其他配置原样保留。验证方面，说明称以 8 层分片为单位精确比较了 38 个张量。DSA 的正式名称以及比较对象在所提供的信息中并未出现。
这份发布信息所能确认的范围仅限于模型添加、层配置变更以及张量比较验证。它说明了精确比较了 38 个张量，但没有给出比较基准是什么，也没有说明 93 层整体是如何验证的。性能、运行速度、内存使用量方面也没有任何数值。因此仅凭这条记录无法判断推理效率有所提升，可以确认的变化仅限于 Kimi-K3.1-Pro 文本模型支持以及所描述的配置变更。