github.devotd.
发布通用本地引擎

ggml-org/llama.cpp b11782 — 修正服务器 usage 的完成 token 计数

b11782 构建修复了服务器在运行多个候选时 usage 中的完成 token 数被少计的问题。

仓库信息ggml-org/llama.cpp ↗

一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

GitHub 项目说明: LLM inference in C/C++

星标
★ 131.9K
复刻
24.6K
语言
C++
许可证
MIT
最新版本
2026年10月21日
查看原始来源 ↗在 GitHub 查看 ↗

ggml-org/llama.cpp 的新构建 b11782 已发布。该仓库是用 C/C++ 实现的 LLM 推理项目,这次构建修复了服务器在运行多个候选时,usage 中记录的完成 token 数被少计的问题。发布以 GitHub 上的 ggml-org/llama.cpp b11782 发布标签形式进行,发布日期为 2026 年 10 月 21 日。动手的地方是服务器留下的汇总输出这一侧。

完成 token 数指的是 usage 中扣除输入后、由模型新生成的 token 数量。usage 是服务器按请求记录 token 数的汇总输出,因此可作为衡量推理成本和响应长度的基准。服务器在运行多个候选时,一旦漏掉一部分,就会低估整体生成量,这次修正的目的正是补上这个缺口。仓库简介只有一行 'LLM inference in C/C++',目前的星标数为 131868 个。

不过,b11782 发布说明披露的内容只有这一处计数修正。是否还包含其他变更,仅凭发布记录无法确认。吞吐量或延迟的对比数据以及许可证信息也都没有出现在本次资料中。由于改动只涉及汇总准确性,它对服务器性能的实际影响,仅凭这些信息难以判断。

同领域的其他项目

通用本地引擎 →