ggml-org/llama.cpp 的新构建 b11782 已发布。该仓库是用 C/C++ 实现的 LLM 推理项目,这次构建修复了服务器在运行多个候选时,usage 中记录的完成 token 数被少计的问题。发布以 GitHub 上的 ggml-org/llama.cpp b11782 发布标签形式进行,发布日期为 2026 年 10 月 21 日。动手的地方是服务器留下的汇总输出这一侧。
完成 token 数指的是 usage 中扣除输入后、由模型新生成的 token 数量。usage 是服务器按请求记录 token 数的汇总输出,因此可作为衡量推理成本和响应长度的基准。服务器在运行多个候选时,一旦漏掉一部分,就会低估整体生成量,这次修正的目的正是补上这个缺口。仓库简介只有一行 'LLM inference in C/C++',目前的星标数为 131868 个。
不过,b11782 发布说明披露的内容只有这一处计数修正。是否还包含其他变更,仅凭发布记录无法确认。吞吐量或延迟的对比数据以及许可证信息也都没有出现在本次资料中。由于改动只涉及汇总准确性,它对服务器性能的实际影响,仅凭这些信息难以判断。