github.devotd.
发布通用本地引擎

ggml-org/llama.cpp b11752 — MoE 路由器选择稳定化测试

ggml-org/llama.cpp b11752 处理了各后端数值噪声可能导致专家选择不同的问题,并包含 MoE 路由器选择测试。

仓库信息ggml-org/llama.cpp ↗

一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

GitHub 项目说明: LLM inference in C/C++

星标
★ 131.8K
复刻
24.6K
语言
C++
许可证
MIT
最新版本
2026年10月20日
查看原始来源 ↗在 GitHub 查看 ↗

ggml-org/llama.cpp b11752 于 2026 年 10 月 20 日发布。该仓库是用 C 和 C++ 实现大语言模型推理的项目。本次发布讨论的是 MoE 路由器中专家分数出现并列时可能产生的选择差异。仓库描述为 LLM inference in C/C++,公开星标数为 131775。发布信息的要点不是新增模型或功能,而是稳定专家选择行为的改动。

问题的起点是各后端产生的数值噪声。如果这种噪声影响专家分数并列的处理方式,同一个 token 就可能被分配给不同的专家。也就是说,在分数相同的专家中选择哪一个,可能取决于执行后端的数值差异。b11752 包含了一个用于稳定这一行为的 MoE 路由器选择测试。发布摘要说明了该问题和测试的目的,但没有说明测试所涉及的具体选择规则。

因此,这次改动所确认的是专家分数并列处理带来的选择问题,以及为稳定它而新增的测试。所提供的发布信息中没有说明差异在哪些后端出现、选择结果实际相差多大、测试验证到什么范围。也没有依据将其解读为性能提升,或解读为保证所有执行路径上的选择都一致。b11752 的意义在于开始处理选择行为的稳定性,而结果的范围仅凭公开说明难以判断。

同领域的其他项目

通用本地引擎 →