github.devotd.
릴리스범용 로컬 엔진

ggml-org/llama.cpp b11784 — SYCL iq3 양자화 충돌 수정

llama.cpp 빌드 b11784는 SYCL 대상 iq3 양자화에서 일어나던 충돌을 고친 릴리스다.

저장소 정보ggml-org/llama.cpp ↗

C와 C++로 작성되어 대규모 언어 모델을 로컬에서 실행하는 범용 추론 엔진입니다.

GitHub 설명: LLM inference in C/C++

스타
★ 131.9K
포크
24.6K
언어
C++
라이선스
MIT
최신 릴리스
2026년 10월 21일
원문 보기 ↗GitHub에서 보기 ↗

ggml-org/llama.cpp의 새 빌드 b11784가 공개됐다. 이 저장소는 C/C++로 구현한 LLM 추론 프로젝트로, 이번 빌드에서는 SYCL 대상 iq3 양자화에서 일어나던 충돌을 고쳤다. 공개는 GitHub의 ggml-org/llama.cpp b11784 릴리스 태그로 이루어졌고, 릴리스 날짜는 2026년 10월 21일이다. 릴리스 표기는 시맨틱 버전 이름이 아니라 빌드 번호로 되어 있다.

SYCL은 여러 종류의 GPU에서 같은 소스로 동작하게 하는 표준 API다. iq3는 가중치를 낮은 비트 정밀도로 압축해 메모리 사용을 줄이는 쪽의 양자화(quantization) 형식이다. 이번 수정이 손댄 곳은 이 SYCL 경로의 iq3 양자화 쪽이다. 저장소 설명은 'LLM inference in C/C++' 한 줄로만 밝히고 있으며, 현재 별 표시는 131873개다.

다만 b11784 릴리스 노트가 밝힌 내용은 이 충돌 수정뿐이다. 어떤 코드 경로에서 무슨 충돌이 났는지, 고친 뒤 성능이 어떤지는 주어지지 않았고, 성능 수치나 테스트 결과, 라이선스 정보도 이번 자료에는 실려 있지 않다. SYCL 밖의 경로에까지 영향이 있는지도 확인되지 않는다. 그래서 SYCL로 iq3 양자화를 돌리는 환경에는 확인할 가치가 있는 변경이지만, 다른 가속기를 쓰는 쪽에 기대를 줄 변경이라고 단정하기는 어렵다.

같은 분야의 다른 프로젝트

범용 로컬 엔진 →