Devotd Github
发布通用本地引擎

ggml-org/llama.cpp b11985 — Metal 运算方式变更

ggml-org/llama.cpp b11985 移除了 Metal 的 MXFP4 矩阵-向量内核中对线程组内存的使用,并将一元、二元运算和 GLU 行拆分为更大的线程组执行。

仓库信息ggml-org/llama.cpp ↗

一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

GitHub 项目说明: LLM inference in C/C++

星标
★ 132.8K
复刻
24.9K
语言
C++
许可证
MIT
最新版本
2026年10月30日
查看原始来源 ↗在 GitHub 查看 ↗

ggml-org/llama.cpp 是使用 C/C++ 执行 LLM 推理的代码仓库。在 2026 年 10 月 29 日发布的 b11985 版本中,Metal 的 MXFP4 矩阵-向量内核以及部分运算的执行方式发生了变化。本文基于该仓库的 b11985 版本记录。

根据版本摘要,MXFP4 矩阵-向量内核现在采用 FP16 位技术展开数值,因此不再使用线程组内存。一元运算、二元运算和 GLU 行被改为拆分成更大的线程组执行。前一项变更关乎内存的使用方式,后一项变更关乎拆分运算时的块大小。本次更新的范围是 Metal 处理该内核与这些运算的方式。摘要未详细说明具体的处理过程,也未说明用户可见的功能变化。

所提供的版本摘要中没有对比处理时间、吞吐量或内存使用量的数值。因此,仅凭这些信息无法判断不再使用线程组内存的变更,或采用更大块拆分的方式,会对性能产生怎样的影响。此外,摘要只涉及 Metal 的变更,并未说明其他后端是否也有变更。b11985 中可以确认的是 Metal 路径上运算方式的变更,其效果大小无法依据现有事实确定。

同领域的其他项目

通用本地引擎 →