Devotd Github
릴리스범용 로컬 엔진

ggml-org/llama.cpp 2026-11-07 업데이트 모음: 백엔드 커널과 슬롯 스케줄링

ggml-org/llama.cpp의 2026년 11월 7일자 묶음인 b12173~b12189 8개 릴리스에서 나온 백엔드 커널 보강과 서버 슬롯 처리 순서 변경을 정리한다.

저장소 정보ggml-org/llama.cpp ↗

C와 C++로 작성되어 대규모 언어 모델을 로컬에서 실행하는 범용 추론 엔진입니다.

GitHub 설명: LLM inference in C/C++

스타
★ 133.6K
포크
25.2K
언어
C++
라이선스
MIT
최신 릴리스
2026년 11월 7일
원문 보기 ↗GitHub에서 보기 ↗

ggml-org/llama.cpp는 C/C++로 LLM 추론을 구현해 별 133629개를 모은 저장소로, 2026년 11월 7일에 묶인 갱신에는 b12173부터 b12189까지 8개 릴리스가 들어 있다. 이번 묶음의 중심은 여러 백엔드의 커널 보강과 서버 슬롯 처리 순서 변경이다.

먼저 연산 지원이 늘었다. OpenCL 백엔드는 b12173에서 f16, i32, i16, bf16 자료형의 repeat 연산을 지원하고, b12183에서 arange 연산을 추가했다. WebGPU에는 b12187에서 group norm 커널이 들어갔고, Metal은 b12189에서 GROUP_NORM이 배치 차원(ne03)이 1보다 크거나 입력이 비연속인 경우를 고쳤다. b12186은 Vulkan의 decodeBuf 선언에 readonly 표시를 더했고, b12188은 서버가 대기 중인 자식 슬롯보다 부모 슬롯을 먼저 방문하도록 순서를 바꿨다. 이 밖에는 b12182가 텐서가 적은 버퍼의 계산 보기 한도를 올리고 DeepSeek 4.1 시험 모델을 6층으로 되돌렸고, b12174는 Windows 리소스 파일을 CMake가 템플릿 입력 파일 없이 직접 생성하도록 바꿨다.

다만 각 판에 담긴 변경은 대체로 한두 커널이나 빌드·시험 경로에 한정된다. b12186의 성능 이득은 향후 드라이버 버전에서 기대된다는 설명만 있을 뿐 측정치는 없고, 성능이나 사용자 지표도 제시되지 않는다. 즉 이 묶음은 특정 백엔드에서 쓸 수 있는 연산 종류를 하나씩 넓히는 작업의 연속에 가깝고, 무엇이 얼마나 빨라졌는지 판단하려면 백엔드별 자체 측정이 더 필요하다.

같은 분야의 다른 프로젝트

범용 로컬 엔진 →