jakeatx/llamampere 是一个旨在提升 llama.cpp 在 Ampere 系列 GPU(尤其是 RTX 3090 和 3090 Ti)上性能的分支。2026 年 11 月 5 日,该仓库合入了 v0.6.2.2 合并提交。它是 PR #84 的合并,其内容是启动器不再强制启用 PLE 提示预取的更改。
预取是指在读取提示的过程中提前调取所需页面的行为。被移除的设置是使用两个 worker 的映射页预取(fault 模式,LLAMA_PLE_PF_AHEAD=1000000),现在它保持在引擎默认值即关闭的状态。给定 LLAMA_PLE_PREFETCH=N,即可通过指定 N 个读取 worker 恢复该设置。GitHub 提交 1c34224 的信息说明,通过这一更改,读取 100K token 的提示约快了 30~45%。
提交统计记录为 5 个文件、增加 1 行、删除 4 行;在所给出的补丁中,flash-next.env 这一个文件的 4 行被删除、增加了 1 行。30~45% 是维护者写在提交信息中的陈述,并未同时给出对比基准测试表或测量环境。该记录中也没有许可证信息。
因此,这一更改更接近于对默认值的调整,而非功能新增。可以理解为共享了「关闭预取对提示读取更有利」这一判断,并且留下了在需要时可以回退的形式。仓库说明指出,在 262K 完整上下文和 12GB 配置下支持 200K 以上的上下文。不过,仅凭记录很难确认这一更改在那些条件下带来了怎样的差异。