Devotd Github
新发现推理与服务

jakeatx/llamampere v0.6.2.2 — 默认关闭 PLE 预取

在 v0.6.2.2 中,jakeatx/llamampere 去除了启动器对 PLE 提示预取的强制,并在提交信息中说明读取 100K token 的提示约快了 30~45%。

仓库信息jakeatx/llamampere ↗

在 v0.6.2.2 中,jakeatx/llamampere 去除了启动器对 PLE 提示预取的强制,并在提交信息中说明读取 100K token 的提示约快了 30~45%。

GitHub 项目说明: llama.cpp fork for significantly improved performance on Ampere (especially RTX 3090 / 3090 Ti): example: 95+ tok/s over a 100K-token generation at temperature 1 for qwen3.8, supporting full 262K ctx. Supports low memory (12gb) configs for 200k+ ctx

星标
★ 178
复刻
20
语言
C++
许可证
MIT
最新版本
v0.5.5
查看原始来源 ↗在 GitHub 查看 ↗

jakeatx/llamampere 是一个旨在提升 llama.cpp 在 Ampere 系列 GPU(尤其是 RTX 3090 和 3090 Ti)上性能的分支。2026 年 11 月 5 日,该仓库合入了 v0.6.2.2 合并提交。它是 PR #84 的合并,其内容是启动器不再强制启用 PLE 提示预取的更改。

预取是指在读取提示的过程中提前调取所需页面的行为。被移除的设置是使用两个 worker 的映射页预取(fault 模式,LLAMA_PLE_PF_AHEAD=1000000),现在它保持在引擎默认值即关闭的状态。给定 LLAMA_PLE_PREFETCH=N,即可通过指定 N 个读取 worker 恢复该设置。GitHub 提交 1c34224 的信息说明,通过这一更改,读取 100K token 的提示约快了 30~45%。

提交统计记录为 5 个文件、增加 1 行、删除 4 行;在所给出的补丁中,flash-next.env 这一个文件的 4 行被删除、增加了 1 行。30~45% 是维护者写在提交信息中的陈述,并未同时给出对比基准测试表或测量环境。该记录中也没有许可证信息。

因此,这一更改更接近于对默认值的调整,而非功能新增。可以理解为共享了「关闭预取对提示读取更有利」这一判断,并且留下了在需要时可以回退的形式。仓库说明指出,在 262K 完整上下文和 12GB 配置下支持 200K 以上的上下文。不过,仅凭记录很难确认这一更改在那些条件下带来了怎样的差异。