pentacoxian/qwen-qsa-llama.cpp 是一个把 Qwen Sparse Attention 路径应用到 Qwen3.8-27B 的 llama.cpp 分支。README 说明它被配置为在单张 RTX 4090 上处理 262K 上下文与图像输入。该仓库创建于 2026 年 11 月 4 日,FACTS 中没有记录到最新版本。因此本文关注的是仓库所展示的实现,而不是某个特定版本的变更。
据 README 所述,实现包含内存优化、内核(kernel)改动以及 DFlash2 的草稿拒绝采样。仓库还公开了在相同权重和相同提问条件下进行对比的速度与召回测试结果。项目使用 C++ 编写,采用 MIT 许可证。该分支的目标是在单张 GPU 上处理长上下文与图像输入,其要点在于基于 llama.cpp 的代码中同时处理了为此所需的内存与内核路径。不过,README 中的说明和结果均由仓库作者提供。
这些结果很难直接套用到其他设备或任务上。README 说明召回评估只是包含 40 个问题的简易检查,除 RTX 4090 之外没有测试其他显卡。公开的速度与召回结果同样仅限于相同条件下的对比,把它们当作广泛性能优势的依据还为时过早。就现有资料而言,可以参考其实现方向,但在更多样的设备与评测得到确认之前,性能主张应当谨慎解读。