Devotd Github
릴리스범용 로컬 엔진

ggml-org/llama.cpp 2026-11-03 업데이트 모음: 백엔드 최적화 중심

ggml-org/llama.cpp의 2026년 11월 3일 업데이트를 b12050~b12069 10개 빌드 기준으로 묶어, Vulkan·OpenCL·WebGPU·헥사곤 백엔드 최적화와 Clover·Pocket TTS 지원 추가를 정리했다.

저장소 정보ggml-org/llama.cpp ↗

C와 C++로 작성되어 대규모 언어 모델을 로컬에서 실행하는 범용 추론 엔진입니다.

GitHub 설명: LLM inference in C/C++

스타
★ 133.3K
포크
25.1K
언어
C++
라이선스
MIT
최신 릴리스
2026년 11월 3일
원문 보기 ↗GitHub에서 보기 ↗

ggml-org/llama.cpp은 C/C++로 만든 LLM 추론 엔진이다. 2026년 11월 3일에는 b12050부터 b12069까지 10개 빌드가 배포됐다. 이 날 묶인 커밋 묶음은 따로 없다.

가장 큰 축은 하드웨어 백엔드별 연산 최적화다. b12050은 Vulkan 백엔드에서 작은 크기와 적은 분할 수를 쓰는 연산의 선택을 개선했고(RDNA3·RDNA4 대상), b12069는 OpenCL 경로에 iq4_xs 양자화 지원을 처음 추가해 Adreno용 행렬·벡터 연산과 디코딩 최적화를 담았다. b12064는 헥사곤 가속기에서 축 순서가 바뀐 복사에 타일 단위 전치 경로를 추가해, 원소마다 전송 설명자를 내던 방식을 묶음 단위로 처리하게 했다. b12066은 WebGPU 백엔드에 범위 생성(ARANGE) 연산을 추가했고, b12054는 ggml-zdnn에서 호스트와 버퍼를 공유하도록 바꿨다.

모델과 기능 쪽 변경도 함께 들어왔다. b12060은 Clover 모델 지원을 추가해 GGUF 변환과 모델 로딩, 인과 혼합 어텐션을 넣었고, b12059는 통합 키값 캐시에서 여러 수열을 다루는 경로를 개선했다. b12061은 음성 복제 없이 미리 정의된 음성만 쓰는 Pocket 음성 합성을 지원한다. b12057은 context setter를 단순화했고, b12068은 GPT-OSS의 마지막 채널 뒤에 제약 유형을 지정할 수 있게 했다.

다만 정리된 릴리스 설명에는 성능 수치나 벤치마크가 없다. 각 변경이 실제로 얼마나 빨라지는지는 이 정보만으로 판단하기 어렵고, 지원 범위도 개별 백엔드와 모델에 국한된다. 특정 하드웨어나 모델을 다룰 계획이 있을 때만 확인할 만한 수준에 가깝다.

같은 분야의 다른 프로젝트

범용 로컬 엔진 →