Devotd Github
发布通用本地引擎

ggml-org/llama.cpp b11970 — 六边形后端新增卷积运算

ggml-org/llama.cpp 构建 b11970 为六边形后端新增了卷积运算,并改进了缓冲与数据传输路径。

仓库信息ggml-org/llama.cpp ↗

一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

GitHub 项目说明: LLM inference in C/C++

星标
★ 132.7K
复刻
24.9K
语言
C++
许可证
MIT
最新版本
2026年10月29日
查看原始来源 ↗在 GitHub 查看 ↗

ggml-org/llama.cpp 构建 b11970 是一个基于 C/C++ 的 LLM 推理项目的新构建。本次发布为六边形后端添加了卷积运算。根据发布摘要,双重缓冲和数据传输路径也得到了改进。同时还包含了防止半精度存储中溢出的变更,以及对深度卷积的支持。相关内容的来源是 ggml-org/llama.cpp 的 b11970 发布记录。因此,本次更新的核心是六边形后端的运算支持,以及相关的缓冲、传输与存储改动。

这些变更可以分为新增运算和对既有路径的改进。卷积运算已添加到六边形后端,发布摘要中也明确写有对深度卷积的支持。另外还单独记录了双重缓冲与数据传输路径的改进,以及防止半精度存储溢出的改动。从摘要中可以确认的,是哪些条目被纳入了 b11970。每个条目针对哪些模型或使用条件、变更前后的行为有何差异,所提供的信息中都没有说明。

发布摘要没有给出性能数据、对比结果或适用的目标模型。因此,仅凭这些信息无法判断卷积支持或缓冲、传输路径的改进对推理速度或内存使用量有怎样的影响。半精度存储的溢出防护和深度卷积支持同样没有给出细节条件。可以确认的范围,仅限于这些变更已包含在 b11970 中。具体效果和适用范围,需要有更多资料才能判断。

同领域的其他项目

通用本地引擎 →