Devotd Github
릴리스범용 로컬 엔진

ggml-org/llama.cpp b12000 — OCP FP8 E4M3 양자화 지원 추가

ggml-org/llama.cpp b12000은 OCP FP8 E4M3 양자화 지원을 추가하고 FP8 변환과 파이썬 자료형 검사를 수정한 릴리스다.

저장소 정보ggml-org/llama.cpp ↗

C와 C++로 작성되어 대규모 언어 모델을 로컬에서 실행하는 범용 추론 엔진입니다.

GitHub 설명: LLM inference in C/C++

스타
★ 132.8K
포크
24.9K
언어
C++
라이선스
MIT
최신 릴리스
2026년 10월 30일
원문 보기 ↗GitHub에서 보기 ↗

ggml-org/llama.cpp b12000은 2026-10-30에 공개된 릴리스다. 저장소 설명은 이 프로젝트를 C/C++ 기반 LLM 추론용으로 소개한다. b12000에서는 OCP FP8 E4M3 양자화 지원을 추가했다. 릴리스 설명에 따르면 파이썬 자료형 검사를 고쳤고, FP8 변환에서 입력 스케일을 반영하도록 했으며, NVFP4로 잘못 변환되던 문제도 바로잡았다. 변경 내용의 출처는 저장소의 b12000 릴리스 설명이다.

이번 릴리스는 새 양자화 지원과 변환 관련 수정을 함께 담았다. 구체적으로 OCP FP8 E4M3를 지원 대상으로 추가하고, FP8 변환 과정에서 입력 스케일이 반영되도록 변경했다. 또 변환 결과가 NVFP4로 잘못 나오던 문제를 수정했다. 파이썬 자료형 검사 수정도 포함된다. 따라서 확인되는 변화는 지원 형식의 추가와 변환 및 검사 동작의 수정이며, 각각의 변경이 적용되는 세부 경로는 릴리스 설명에 제시되지 않았다.

제공된 릴리스 정보에는 지원 하드웨어나 백엔드, 성능과 정확도의 비교 결과가 없다. 입력 스케일 반영이 실제 결과에 미치는 영향도 수치로 제시되지 않았다. 파이썬 자료형 검사 수정의 적용 위치와 NVFP4 변환 문제의 발생 조건 역시 설명되어 있지 않다. 그러므로 b12000에서 확인되는 것은 변경 항목 자체이며, 새 지원 경로의 적용 범위와 성능은 이 정보만으로 판단하기 어렵다.

같은 분야의 다른 프로젝트

범용 로컬 엔진 →