jakeatx/llamampere

jakeatx/llamampere は v0.6.2.2 でランチャーによる PLE プロンプトプリフェッチの強制を廃止し、コミットメッセージで 100K トークンのプロンプト読み取りが約 30~45% 速くなったと述べた。

GitHub の説明: llama.cpp fork for significantly improved performance on Ampere (especially RTX 3090 / 3090 Ti): example: 95+ tok/s over a 100K-token generation at temperature 1 for qwen3.8, supporting full 262K ctx. Supports low memory (12gb) configs for 200k+ ctx