ggml-org/llama.cpp 是一个用 C/C++ 进行大语言模型(LLM)推理的仓库。发行版 b11912 在 Laguna 目标上启用了专家混合(MoE)模型的最大激活值重新调整,并声明了对该芯片的张量支持。变更来源是 GitHub 上的 b11912 发行版。公开的变更摘要集中于此次硬件支持范围的扩展。因此,本次发行的核心并非模型功能方面的整体改动,而是对 Laguna 目标支持路径的调整与声明。
MoE 指一种在多个专家模型中启用其中一部分的模型结构。本次变更即为在 Laguna 目标上,为使用该结构的模型启用最大激活值重新调整。发行摘要并未说明它具体以何种方式处理这一点。另外它还单独声明了对该芯片的张量支持,但并未给出所支持运算或范围的具体细节。这两处变更是了解目标硬件声称支持什么的线索。不过仅凭声明,无法更具体地判断实际可运行的范围或行为。
公开摘要中没有 Laguna 的确切芯片型号,也没有张量支持的具体范围。同样也没有给出性能测量值或与之前发行的比较。因此,没有依据确认 b11912 改变了推理速度或结果质量。可以确认的范围仅限于启用 MoE 最大激活值重新调整,以及声明对该芯片的张量支持。把本次变更视为拓宽该硬件路径支持范围的更新是恰当的。