ggml-org/llama.cpp 是一个用 C/C++ 执行大语言模型(LLM)推理的项目。仓库中发布了构建 b11976。根据发布摘要,此次更改涉及 Hexagon 后端中 im2col 的处理方式。im2col 是更改说明中使用的算子名称,发布信息说明这项工作被按输出列块拆分并分配给多个线程。本文内容基于 2026 年 10 月 29 日公开的 b11976 发布记录。
本次更改的范围是 Hexagon 后端中 im2col 的处理方式。按输出列块拆分,意味着按照输出列的分组来划分处理工作,而利用多个线程正是本次构建中可以确认的具体变化。因此,b11976 的新动向并不是新增受支持的模型或面向用户的功能,而是该后端内某项特定运算被改为并行处理。仓库说明将 llama.cpp 介绍为基于 C/C++ 的 LLM 推理项目,发布摘要则在技术上把这一更改限定在 Hexagon 后端。
不过,所提供的发布摘要中没有关于处理时间或吞吐量的对比数值。因此,仅凭这些信息无法判断按多线程拆分的更改对实际推理速度有多大影响。能够确认的只是:在 b11976 中,Hexagon 后端的 im2col 处理改为以输出列块为单位的多线程方式。性能提升的幅度无法仅凭已给出的事实下结论。