jakeatx/llamampere

在 v0.6.2.2 中，jakeatx/llamampere 去除了启动器对 PLE 提示预取的强制，并在提交信息中说明读取 100K token 的提示约快了 30~45%。

GitHub 项目说明: llama.cpp fork for significantly improved performance on Ampere (especially RTX 3090 / 3090 Ti): example: 95+ tok/s over a 100K-token generation at temperature 1 for qwen3.8, supporting full 262K ctx. Supports low memory (12gb) configs for 200k+ ctx

星标

★ 178

复刻

20

语言

C++

许可证

MIT

最新版本

v0.5.5