github.devotd.
发布

ggml-org/llama.cpp b11700 — 新增 Granite Switch decision 转换器

llama.cpp b11700 新增了 Granite Switch 系列模型的 decision 转换与支持路径。

仓库信息ggml-org/llama.cpp ↗

LLM inference in C/C++

星标
★ 131.5K
复刻
24.5K
语言
C++
许可证
MIT
最新版本
b11712
查看原始来源 ↗在 GitHub 查看 ↗

ggml-org/llama.cpp b11700 是一次发布,新增了用于处理 IBM Granite Switch 系列 decision(判定)模型的转换与支持路径。该构建于 2026 年 10 月 16 日公开,llama.cpp 是一个使用 C 和 C++ 进行大语言模型推理的项目。本次变更属于面向判定模型支持的小型功能扩展。

最终构建中包含转换器的 Granite Switch decision 转换器、common 中相应的模型枚举,以及服务器中的 decision 支持分支。模板示例沿用了 ibm-granite/granite-switch-4.1-8b 中 guardian 与 decision 搭配使用的方式。同时还固定为:支持 decision 即同时支持文本输出,并从服务器 README 中移除了对 decision.chat 的提及。这三处变更分别负责转换、common 模型识别和服务器端分支。

评审过程中,草案里的 decision.chat 模板、common 中 chat 与 decision 的双重路径,以及服务器的 decision_chat 标志路由都被回退。因此不应把最终变更理解为独立的对话模板或具备两条路径的实现。所提供的发布信息中没有给出性能测量数据,也没有说明支持的模型范围。可以确认的只是新增了 Granite Switch decision 支持代码,其实际适用性与性能仅凭这条记录难以判断。