Devotd Github
发布通用本地引擎

ggml-org/llama.cpp b12192 — 支持 MageVL-Cowork 与位置编码检查

ggml-org/llama.cpp b12192 支持 MageVL-Cowork 模型,并更改了位置编码检查以及共享位置系数的存放位置。

仓库信息ggml-org/llama.cpp ↗

一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

GitHub 项目说明: LLM inference in C/C++

星标
★ 133.7K
复刻
25.2K
语言
C++
许可证
MIT
最新版本
2026年11月8日
查看原始来源 ↗在 GitHub 查看 ↗

ggml-org/llama.cpp 是一个用 C/C++ 实现 LLM 推理的仓库。GitHub 发布页面公开的 b12192 支持 MageVL-Cowork 模型。本次版本中,模型加载器改为检查位置编码的数据类型和维度。因此,这次发布的核心是新增模型支持,以及模型加载过程中的检查变更。变更来源是 ggml-org/llama.cpp 的 b12192 发布信息。

在改为检查位置编码的数据类型和维度的同时,多个层之间共享的位置系数不再为每一层各保留一份副本,而是放入公共模型结构中。也就是说,发布信息所揭示的变更是:模型支持、加载器的位置编码检查、共享位置系数的存放方式。位置系数的变更被描述为把共享系数放入公共结构。仅凭这一说明无法判断内存占用或推理速度会发生怎样的变化。

所提供的发布信息没有给出 MageVL-Cowork 的结构、所支持的硬件或性能数据,也没有给出位置编码检查会过滤掉哪些错误的具体示例。因此,缺乏将 b12192 解读为性能提升或特定环境兼容性改善的依据。可以确认的范围是 MageVL-Cowork 支持,以及位置编码检查和共享位置系数存放位置的变更;除此之外的效果仅凭发布信息无从得知。

同领域的其他项目

通用本地引擎 →