Devotd Github
새 소식추론/서빙

jakeatx/llamampere v0.6.2.2 — PLE 프리페치 기본 해제

jakeatx/llamampere가 v0.6.2.2에서 런처의 PLE 프롬프트 프리페치 강제를 없애고, 100K 토큰 프롬프트 읽기가 약 30~45% 빨라졌다고 커밋 메시지에 밝혔다.

저장소 정보jakeatx/llamampere ↗

jakeatx/llamampere가 v0.6.2.2에서 런처의 PLE 프롬프트 프리페치 강제를 없애고, 100K 토큰 프롬프트 읽기가 약 30~45% 빨라졌다고 커밋 메시지에 밝혔다.

GitHub 설명: llama.cpp fork for significantly improved performance on Ampere (especially RTX 3090 / 3090 Ti): example: 95+ tok/s over a 100K-token generation at temperature 1 for qwen3.8, supporting full 262K ctx. Supports low memory (12gb) configs for 200k+ ctx

스타
★ 178
포크
20
언어
C++
라이선스
MIT
최신 릴리스
v0.5.5
원문 보기 ↗GitHub에서 보기 ↗

jakeatx/llamampere는 Ampere 계열 GPU, 특히 RTX 3090과 3090 Ti에서 llama.cpp의 성능을 끌어올리려는 포크다. 2026년 11월 5일 이 저장소에 v0.6.2.2 병합 커밋이 들어갔다. PR #84의 병합이며, 내용은 런처가 PLE 프롬프트 프리페치를 더 이상 강제하지 않는 변경이다.

프리페치는 프롬프트를 읽는 동안 필요한 페이지를 미리 가져오는 동작이다. 제거된 설정은 워커 두 개를 쓰는 매핑 페이지 프리페치(fault 모드, LLAMA_PLE_PF_AHEAD=1000000)였고, 이제는 엔진 기본값인 꺼짐 상태로 남는다. LLAMA_PLE_PREFETCH=N을 주면 읽기 워커 N개를 지정해 되살릴 수 있다. GitHub 커밋 1c34224의 메시지는 이 변경으로 100K 토큰 프롬프트 읽기가 약 30~45% 빨라졌다고 밝힌다.

커밋 통계는 5개 파일, 1줄 추가, 4줄 삭제로 기록돼 있고, 제시된 패치에서는 flash-next.env 한 파일의 4줄이 지워지고 1줄이 추가됐다. 30~45%는 유지 관리자가 커밋 메시지에 적은 진술이고, 비교 벤치마크 표나 측정 환경은 함께 제시되지 않는다. 라이선스도 이 기록에는 없다.

그래서 이 변경은 기능 추가보다 기본값 조정에 가깝다. 프리페치를 끄는 쪽이 프롬프트 읽기에서 유리하다는 판단이 공유된 셈이고, 원하면 되돌릴 수 있는 형태를 남겼다. 저장소 설명은 262K 전체 컨텍스트와 12GB 설정에서 200K 이상 컨텍스트를 지원한다고 밝힌다. 다만 그 조건에서 이 변경이 어떤 차이를 만들었는지는 기록만으로 확인하기 어렵다.