github.devotd.
发布

ggml-org/llama.cpp b11723 — 改进 Hexagon 注意力路径

ggml-org/llama.cpp b11723 改进了 Hexagon 后端的 FLASH_ATTN_EXT,细化了长上下文与滑动窗口注意力模型的处理。

仓库信息ggml-org/llama.cpp ↗

LLM inference in C/C++

星标
★ 131.7K
复刻
24.5K
语言
C++
许可证
MIT
最新版本
b11723
查看原始来源 ↗在 GitHub 查看 ↗

ggml-org/llama.cpp 是一个用 C/C++ 实现的 LLM 推理项目。2026 年 10 月 19 日发布的 b11723 版本改进了 Hexagon 后端的 FLASH_ATTN_EXT。变更针对的是长上下文与滑动窗口注意力模型的处理。据 GitHub 发布记录说明,它调整了跳过被掩码块以及切换计算路径的判定标准。

本次改动的目的,是在该模型处理中减少不必要的数据传输,并细化对符合实际情况的计算路径的选择。跳过已应用掩码的块会带来传输量的减少,而切换判定标准的调整也会改变计算路径的选择方式。因此,b11723 中可以确认的是一处涉及 Hexagon 后端特定注意力路径的实现改动,这正是本次发布的范围。没有依据把它扩大为整个项目或所有后端的改动。

不过,发布记录并未单独验证实际性能收益。处理速度或延迟变化了多少,给出的信息中没有说明,因此仅凭数据传输的减少,不能断定体感性能有所提升。可以确认的范围,限于面向长上下文及滑动窗口注意力模型的 Hexagon 路径的处理改进及其实现内容。性能效果在经过单独验证之前,仍属于未确认状态。

同领域的其他项目

本地推理引擎 ↗