github.devotd.
发布通用本地引擎

ggml-org/llama.cpp 2026-10-20 更新汇总:分词器与 Metal MoE 修复

2026 年 10 月 20 日 llama.cpp 的三次发布(b11753~b11756)归为一组:分词器正则补全、Metal MoE 内核修复,以及 Anthropic 转换路径中 id_slot 传递的修复。

仓库信息ggml-org/llama.cpp ↗

一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

GitHub 项目说明: LLM inference in C/C++

星标
★ 131.8K
复刻
24.6K
语言
C++
许可证
MIT
最新版本
2026年10月20日
查看原始来源 ↗在 GitHub 查看 ↗

llama.cpp 用 C/C++ 进行大语言模型(LLM)推理,拥有 131822 个 star。2026 年 10 月 20 日当天从 b11753 到 b11756 共发布了三个版本,没有单独的提交分组。这三处触及的层次各不相同。b11753 在 Tekken 和 GPT-4o 预分词器(把文本拆分为 token 单位的步骤)正则中加入了 \p{M},扩大了对组合字符记法的处理范围;b11755 修复了 Metal 上每个 token 使用 9 个专家的 MoE(Mixture of Experts,即每个 token 只让部分专家参与计算的方式)内核中缺失的变体。

剩下的一次与服务器行为有关。将符合 Anthropic 规范的 /v1/messages 请求转换为内部 OpenAI 格式时,id_slot 被漏掉了,因此指定了持有 KV 缓存的槽位的请求变成了自动选择,缓存也随之被重新计算。其他 completion 端点会照常接收 id_slot,所以这个问题是仅出现在某条协议转换路径上的不对称。修复的同时也加入了测试,用来确认指定的槽位确实被使用。b11753 的构建还附带面向多种 CPU、GPU 和移动环境的可执行文件。

依据只有发布说明中的变更列表。b11755 的修复仅限于 Apple Silicon 执行路径中相应的内核处理,b11753 的正则扩展对实际分词结果的影响也没有以对比数值给出。同时也没有附带性能或准确率指标。因此,这组更新应理解为分词器范围的补全和特定路径上的缺陷修复,至于它对整体性能有何波及,目前判断还为时过早。

同领域的其他项目

通用本地引擎 →