github.devotd.
릴리스

ggml-org/llama.cpp b11700 — Granite Switch decision 변환기 추가

llama.cpp b11700은 Granite Switch 계열 모델의 decision 변환과 지원 경로를 추가했다.

저장소 정보ggml-org/llama.cpp ↗

LLM inference in C/C++

스타
★ 131.5K
포크
24.5K
언어
C++
라이선스
MIT
최신 릴리스
b11712
원문 보기 ↗GitHub에서 보기 ↗

ggml-org/llama.cpp b11700은 IBM Granite Switch 계열의 decision(판정) 모델을 처리하는 변환 및 지원 경로를 추가한 릴리스다. 2026년 10월 16일 공개된 빌드로, llama.cpp는 C와 C++로 대규모 언어 모델 추론을 수행하는 프로젝트다. 이번 변경은 판정 모델 지원을 위한 소규모 기능 확장이다.

최종 빌드에는 컨버터의 Granite Switch decision 변환기, common의 해당 모델 열거, 서버의 decision 지원 분기가 들어갔다. 템플릿 예시는 ibm-granite/granite-switch-4.1-8b에서 guardian과 decision을 함께 쓰는 방식을 따랐다. 또 decision을 지원하면 텍스트 출력도 함께 지원하도록 고정했고, 서버 README에서 decision.chat 언급을 제거했다. 세 변경은 각각 변환, 공통 모델 식별, 서버 측 분기를 담당한다.

리뷰 중 초안에 있던 decision.chat 템플릿, common의 chat과 decision 이중 경로, 서버의 decision_chat 플래그 배관은 모두 되돌려졌다. 따라서 최종 변경을 별도의 대화 템플릿이나 두 경로를 갖춘 구현으로 읽어서는 안 된다. 제공된 릴리스 정보에는 성능 측정이나 지원 모델 범위가 제시되지 않았다. 확인되는 것은 Granite Switch decision 지원 코드의 추가이며, 실제 적용 범위와 성능은 이 기록만으로 판단하기 어렵다.