github.devotd.
릴리스

ggml-org/llama.cpp b11683 — Vulkan 호스트 메모리 임포트 수정

llama.cpp nightly b11683은 Vulkan 백엔드의 호스트 메모리 임포트 실패 로그와 AMD의 버퍼 공유 경로를 수정한 빌드다.

저장소 정보ggml-org/llama.cpp ↗

LLM inference in C/C++

스타
★ 131.5K
포크
24.5K
언어
C++
라이선스
MIT
최신 릴리스
b11712
원문 보기 ↗GitHub에서 보기 ↗

ggml-org/llama.cpp b11683은 C와 C++로 대규모 언어 모델 추론을 수행하는 프로젝트의 nightly 빌드다. 이번 변경은 Vulkan 백엔드의 GPU 가시 호스트 메모리 처리를 다룬다. 호스트 포인터 임포트가 실패할 때 반복되던 로그를 막고, MoltenVK를 공유 메모리 임포트 대상에서 제외했다. 도달 불가능 코드는 제거해 assert로 대체했으며, 경고 문구도 짧게 정리했다. 변경의 초점은 Vulkan 경로에서 임포트 실패와 관련된 처리 및 경고를 손보는 데 있다.

이번 빌드에서는 호스트 메모리 공유가 모든 경로에서 같은 방식으로 유지되지는 않는다. MoltenVK는 공유 메모리 임포트 대상에서 빠졌고, amdgpu 성능 문제 때문에 AMD에서는 호스트 메모리 버퍼 공유를 아예 끄도록 했다. 따라서 이번 변경은 공유를 모든 경로에서 유지하는 조정이 아니라, 대상에서 제외하거나 기능을 끄는 조치도 포함한다. 이 차이를 보면 b11683의 핵심은 공유 범위를 넓히기보다 Vulkan 백엔드의 특정 경로를 정리하는 데 있다.

릴리스 설명은 호스트 포인터 임포트 실패 때 반복되던 로그를 방지한다고 밝히지만, 어떤 상황에서 임포트가 실패하는지나 변경 전후 성능 수치는 제시하지 않는다. AMD에서 공유를 끈 이유 역시 amdgpu 성능 문제로만 설명되어 구체적인 원인이나 영향 범위는 주어지지 않았다. 그러므로 이 빌드에서 확인할 수 있는 것은 로그 처리, 대상 제외, 도달 불가능 코드의 대체와 AMD 공유 비활성화라는 변경 내용까지다. 성능 향상 폭이나 다른 환경에서의 효과까지 이 기록만으로 판단할 수는 없다. 이번 릴리스는 Vulkan 메모리 공유의 보편적 개선이라기보다, 알려진 문제 경로를 제한하고 정리한 수정에 가깝다.