github.devotd.
发布通用本地引擎

ggml-org/llama.cpp b11768 — 新增 Responses API output_index

ggml-org/llama.cpp b11768 构建在 Responses API 流式响应中补上了此前缺失的输出项编号(output_index),并移除了两个已确认不再需要的条目。

仓库信息ggml-org/llama.cpp ↗

一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

GitHub 项目说明: LLM inference in C/C++

星标
★ 131.9K
复刻
24.6K
语言
C++
许可证
MIT
最新版本
2026年10月21日
查看原始来源 ↗在 GitHub 查看 ↗

ggml-org/llama.cpp 构建 b11768 于 2026 年 10 月 21 日公开。这个用 C 和 C++ 实现 LLM 推理的项目的服务器,在 Responses API 流式响应中补上了此前缺失的输出项编号(output_index)。该改动的来源是 GitHub 上的 b11768 发布。

Responses API 是以固定格式返回模型响应的规范,而服务器发送事件(SSE)是不把响应一次性全部发出,而是拆分成片段依次推送的方式。output_index 用来标明某个片段属于哪个输出项。本次修改让服务器把此前缺失的这个值写入每个片段。

该仓库公开的 star 数为 131855。同一构建中复用了 Anthropic 的流式代码,并移除了两个已确认不再需要的条目:generated_tool_call_ids 和 oai_resp_tool_calls_started。

不过,这次改动仅限于 Responses API 流式路径。由于它是以构建编号为单位的发布,给出的信息中没有涉及对整体性能或其他 API 路径的影响。也没有提供测试结果或基准测试,因此其他响应格式的流式表现是否也一并改善还难以判断。把 b11768 看作一处补上输出项编号的小范围修正是准确的,没有依据把它解读为在性能或其他功能上有变化的构建。

同领域的其他项目

通用本地引擎 →