ggml-org/llama.cpp는 C/C++로 LLM 추론을 실행하는 저장소다. 2026년 10월 30일에는 b11986부터 b12008까지 빌드 8개가 공개됐고 커밋 버스트는 없었다. 묶인 빌드의 주제는 세 갈래다. OpenCL 백엔드에 2비트 양자화 종류(iq2, q2_0)를 추가하며 아드레노 GPU 경로를 만드는 작업, 텐서 복사와 키-값 캐시 회전을 다루는 메모리·상태 관리 정리, 그리고 SYCL 백엔드 오류 수정과 추론 예산 종료 조건 같은 동작 변경이다.
양자화는 가중치를 적은 비트 수로 압축해 모델이 차지하는 메모리와 읽기 대역폭을 줄이는 방식이다. b11986이 OpenCL에 iq2를, b12005가 q2_0를 넣었고 두 빌드 모두 아드레노용 벡터-행렬 곱 경로와 정수 연산(dp4a) 경로, 좁은 묶음 최적화를 함께 넣었다. 메모리 쪽에서는 b11997이 텐서 스테이징 버퍼를 재사용하고 직접 입출력의 중간 버퍼를 건너뛰도록 바꿨고, b12002는 ggml에 배치형 텐서 복사 API를 새로 넣어 컨텍스트 입출력에 적용했다. b12008은 gemma3n과 gemma4에서 묶인 출력층이 token_embd를 먼저 참조하도록 순서를 바꿔, CPU 전용 실행에서 모델 버퍼가 3163.73 MiB에서 2947.73 MiB로 줄었다. b12007은 키-값 캐시(KV cache)의 회전 상수를 GPU에 남겨 두는 변경과 계층별 회전 버퍼 지원을 담았다.
다만 OpenCL 쪽은 초기 지원 표기로 시작했고 가속 경로는 아드레노 디바이스를 전제로 한다. b12007 노트는 여러 디바이스에 걸친 KV 회전 작업이 아직 남아 있다고 적었다. 릴리스 노트에는 성능 수치가 없어 이 변경들이 얼마나 빨라졌는지는 알 수 없다. b12003의 SYCL 수정은 FLASH_ATTN_EXT 연산 실패를 고친 패치이고, b12004는 프롬프트 끝 태그에서만 추론 예산을 강제 종료한다. 정리하면 이 묶음은 메모리 절약과 GPU 상태 관리의 기반 작업에 가깝다. 속도 개선 폭은 숫자로 확인하기 전까지 판단하기는 이르다.