ggml-org/llama.cpp 是一个用 C/C++ 实现的 LLM 推理项目。release b12065 修复了在服务器预热期间没有单元的共享键值缓存返回行数为 0 的问题。该变更已记录在 ggml-org/llama.cpp 的 b12065 发布中。本次更新的核心是纠正了服务器预热路径中共享缓存返回错误行数的行为。这既不是新功能,也不是新增模型,而是针对发布说明中明确列出的缓存行数问题的修复。
该问题的影响并不止于缓存返回 0 行。由于这一返回值,处理过程可能会回退到稠密注意力掩码;而在调度器重新制定计划之后,还可能在更大的掩码下被中断。因此,修复的对象是服务器预热期间共享键值缓存返回的行数,以及由该值衔接的掩码选择与调度流程。发布说明同时描述了这一顺序,展示了 0 行返回如何经过掩码切换与重新规划,最终可能导致中断。
已确认的范围是服务器预热期间没有单元的共享键值缓存的行数处理问题。所提供的发布信息中没有给出复现步骤、性能数据,也没有说明受影响配置的范围。因此,把这次修复理解为纠正了该预热路径中的错误是恰当的,也没有依据将结论扩大为其他路径的问题也已解决。