Devotd Github
릴리스범용 로컬 엔진

ggml-org/llama.cpp b12202 — 참조 구현 일부를 bfloat16 정밀도로 변경

ggml-org/llama.cpp b12202는 일부 참조 구현 연산을 bfloat16 정밀도로 변경하고 DeepSeek V4/V4.1 라우터와 MiniMax-M3 인덱서에는 32비트를 유지한다.

저장소 정보ggml-org/llama.cpp ↗

C와 C++로 작성되어 대규모 언어 모델을 로컬에서 실행하는 범용 추론 엔진입니다.

GitHub 설명: LLM inference in C/C++

스타
★ 133.8K
포크
25.3K
언어
C++
라이선스
MIT
최신 릴리스
2026년 11월 9일
원문 보기 ↗GitHub에서 보기 ↗

C/C++ 기반 LLM 추론 프로젝트 ggml-org/llama.cpp가 2026년 11월 8일 b12202를 공개했다. 이번 릴리스는 참조 구현에서 32비트 부동소수점으로 계산하지 않던 일부 연산을 bfloat16 정밀도로 변경했다. 변경 내용은 릴리스 페이지에 공개됐다. 이 변경은 추론 경로 전체를 일괄해서 바꾸는 내용이 아니라, 릴리스 요약에 지정된 연산별 정밀도 조정이다.

대상은 GLM4 계열의 하향 투영과 출력 투영, MiMoVL의 시각 행렬 연산, Qwen3-TTS 화자 인코더의 합성곱이다. 즉 이번 변경은 세 계열에서 서로 다른 연산을 지정해 정밀도를 조정한 것이다. 릴리스 요약은 GLM4의 두 투영 연산, MiMoVL의 시각 행렬 연산, Qwen3-TTS의 화자 인코더 합성곱을 각각 변경 대상으로 명시한다. 변경의 핵심은 이 연산들을 bfloat16 정밀도로 계산하도록 바꾼 점이다.

다만 정밀도 변경은 모든 연산에 적용되지 않았다. DeepSeek V4/V4.1의 라우터와 MiniMax-M3의 인덱서는 32비트를 유지한다. 공개된 변경 정보는 어떤 연산이 바뀌고 무엇이 유지됐는지까지 밝히지만, 정밀도를 나눈 이유나 속도·정확도에 미치는 영향은 제시하지 않는다. 따라서 이번 릴리스에서 확인할 수 있는 것은 지정된 연산의 정밀도 배치 변경이며, 그 효과는 공개 정보만으로 판단하기 어렵다.

같은 분야의 다른 프로젝트

범용 로컬 엔진 →