Devotd Github
发布通用本地引擎

ggml-org/llama.cpp b11866 — Metal MoE 运算路径变更

ggml-org/llama.cpp b11866 是一个从 Metal 后端的混合专家矩阵运算中移除最大值重调整及相关步骤的构建版本。

仓库信息ggml-org/llama.cpp ↗

一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

GitHub 项目说明: LLM inference in C/C++

星标
★ 132.3K
复刻
24.8K
语言
C++
许可证
MIT
最新版本
2026年10月25日
查看原始来源 ↗在 GitHub 查看 ↗

ggml-org/llama.cpp b11866 是基于 C/C++ 的 LLM 推理项目 llama.cpp 的一个新构建版本。2026 年 10 月 24 日发布的此版本移除了 Metal 后端混合专家矩阵运算中的最大值重调整。变更内容记录在 b11866 发布信息中。在运算图中,它被替换为按专家逐 token 的处理方式。相应地,临时缓冲区和两阶段归约内核也被移除。

本次变更的范围是混合专家矩阵运算的处理路径。原有的最大值重调整被移除,运算图改为按专家逐 token 处理。发布信息明确列出的变化是:移除了临时缓冲区,以及原本分两步进行的归约内核。因此,可以确认的内容是运算路径及其组件的变更;给定的信息中没有提到新增了推理功能。关于项目本身,只提供了「以 C/C++ 执行 LLM 推理」的说明。

提供的发布信息中没有性能数据,也没有用于验证的模型。因此,无法判断这一变更会使处理速度或内存使用量发生多大变化。根据已公开的事实,能够说明的仅限于:Metal 后端中该运算的最大值重调整、临时缓冲区和两阶段归约内核已被移除。至于是否有性能改善,需要有单独的测量数据才能判断。

同领域的其他项目

通用本地引擎 →