ggml-org/llama.cpp 빌드 b12144가 배포됐다. 이 저장소는 C/C++로 대규모 언어 모델 추론을 구현하는 프로젝트다. 이번 버전에서는 CUDA 경로의 혼합 전문가 가중치 데이터 배치를 일렬로 펴는 변경이 이뤄졌다. 정수 연산과 행렬 곱셈 양쪽에서 타일 크기 최적화를 더 잘 받을 수 있도록 한 것이다. 16비트 부동소수 성능 저하 수정도 포함됐다. 변경 내용은 b12144 배포 기록에 명시돼 있다.
혼합 전문가는 입력에 따라 여러 전문가 구성 요소 중 일부를 사용하는 모델 구조를 가리킨다. 이번 기록에서 다룬 것은 그 구조의 가중치 데이터 배치다. 데이터를 일렬로 펴는 변경은 정수 연산과 행렬 곱셈 모두에서 타일 크기 최적화가 더 잘 적용되도록 하는 데 초점을 둔다. 따라서 이번 배포의 핵심은 모델 기능 추가가 아니라 CUDA 경로의 데이터 처리 변경과 16비트 부동소수 성능 저하 수정이다. 저장소 설명은 C/C++ 기반 대규모 언어 모델 추론이며, 자세한 변경 사항은 https://github.com/ggml-org/llama.cpp/releases/tag/b12144 에서 확인할 수 있다.
제공된 배포 정보에는 변경 전후의 성능 수치가 없다. 타일 크기 최적화가 실제 처리 속도에 미친 영향이나 16비트 부동소수 성능 저하가 어느 정도 개선됐는지는 이 정보만으로 판단할 수 없다. 확인되는 범위는 CUDA 경로의 혼합 전문가 가중치 배치 변경과 16비트 부동소수 성능 저하 수정이다. 성능 향상의 크기까지 확인된 배포로 해석하기는 어렵다.