Devotd Github
发布通用本地引擎

ggml-org/llama.cpp b11968 — 新增 ARM SVE 256 位 q6_K 矩阵乘法内核

llama.cpp b11968 是一次发布,其中包含新增面向 ARM SVE 256 位的 q6_K 矩阵乘法内核,以及相关整理和评审意见的采纳。

仓库信息ggml-org/llama.cpp ↗

一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

GitHub 项目说明: LLM inference in C/C++

星标
★ 132.6K
复刻
24.9K
语言
C++
许可证
MIT
最新版本
2026年10月29日
查看原始来源 ↗在 GitHub 查看 ↗

ggml-org/llama.cpp 的 b11968 版本于 2026 年 10 月 28 日公开。该版本新增了面向 ARM SVE 256 位的 q6_K 矩阵乘法内核,并包含相关代码整理和评审意见的采纳。根据仓库说明,llama.cpp 是一个用 C 和 C++ 实现的 LLM 推理项目。本次变更的核心是新增了一个明确指出特定目标与运算的内核,发布信息中没有提到仓库整体性质发生了变化。

本次变更针对的是 llama.cpp 推理任务中在 ARM SVE 256 位环境下处理 q6_K 矩阵乘法的路径。因此新增的内容是明确的,但仅凭所提供的信息无法说明该路径的运作方式或对其他运算的影响。发布摘要除提到新增内核外,也提到相关整理和评审意见的采纳,但并未逐项列出。没有依据把变更范围解释得比这一描述更宽泛。

所提供的发布信息中没有性能测量值,也没有准确度对比。因此,新内核对吞吐量的改变程度,以及它在实际使用中会带来什么差异,仅凭这些信息无法判断。对其他硬件或架构的影响也没有说明。可以确认的结论仅限于新增了面向 ARM SVE 256 位的 q6_K 矩阵乘法内核这一事实,具体收益并未由给出的资料所证明。

同领域的其他项目

通用本地引擎 →