Devotd Github
릴리스범용 로컬 엔진

ggml-org/llama.cpp b11866 — Metal MoE 연산 경로 변경

ggml-org/llama.cpp b11866은 Metal 백엔드의 혼합 전문가 행렬 연산에서 최대값 재조정과 관련 단계를 제거한 빌드다.

저장소 정보ggml-org/llama.cpp ↗

C와 C++로 작성되어 대규모 언어 모델을 로컬에서 실행하는 범용 추론 엔진입니다.

GitHub 설명: LLM inference in C/C++

스타
★ 132.3K
포크
24.8K
언어
C++
라이선스
MIT
최신 릴리스
2026년 10월 25일
원문 보기 ↗GitHub에서 보기 ↗

ggml-org/llama.cpp b11866은 C/C++ 기반 LLM 추론 프로젝트 llama.cpp의 새 빌드다. 2026년 10월 24일 공개된 이번 버전은 Metal 백엔드의 혼합 전문가 행렬 연산에서 최대값 재조정을 없앴다. 변경 내용은 b11866 릴리스 정보에 기록되어 있다. 연산 그래프에서는 전문가별 토큰 단위 처리 방식으로 대체했다. 그에 따라 임시 버퍼와 두 단계 축소 커널도 제거됐다.

이번 변경의 범위는 혼합 전문가 행렬 연산의 처리 경로다. 기존의 최대값 재조정이 없어지고, 연산 그래프에서 전문가별 토큰 단위로 처리하도록 바뀌었다. 임시 버퍼를 없애고 두 단계로 진행하던 축소 커널을 함께 제거한 것이 릴리스 정보에 명시된 변화다. 따라서 확인 가능한 내용은 연산 경로와 구성 요소의 변경이며, 새로운 추론 기능이 추가됐다는 설명은 주어진 정보에 없다. 프로젝트 자체는 C/C++로 LLM 추론을 수행한다는 설명만 제공되어 있다.

제공된 릴리스 정보에는 성능 수치나 검증에 사용한 모델이 나오지 않는다. 따라서 이 변경으로 처리 속도나 메모리 사용량이 얼마나 달라지는지는 판단할 수 없다. 공개된 사실로 말할 수 있는 것은 Metal 백엔드에서 해당 연산의 최대값 재조정, 임시 버퍼, 두 단계 축소 커널이 제거됐다는 점까지다. 성능 개선 여부는 별도의 측정 정보가 있어야 판단할 수 있다.

같은 분야의 다른 프로젝트

범용 로컬 엔진 →