jakeatx/llamampere

jakeatx/llamampere가 v0.6.2.2에서 런처의 PLE 프롬프트 프리페치 강제를 없애고, 100K 토큰 프롬프트 읽기가 약 30~45% 빨라졌다고 커밋 메시지에 밝혔다.

GitHub 설명: llama.cpp fork for significantly improved performance on Ampere (especially RTX 3090 / 3090 Ti): example: 95+ tok/s over a 100K-token generation at temperature 1 for qwen3.8, supporting full 262K ctx. Supports low memory (12gb) configs for 200k+ ctx

스타

★ 178

포크

20

언어

C++

라이선스

MIT

최신 릴리스

v0.5.5