ggml-org/llama.cpp는 C/C++로 구현된 LLM 추론 프로젝트다. b12122 릴리스는 NVFP4에서 CUDA 게이트 연산과 상향 투영 행렬곱, 게이트 선형 연산을 융합하는 MMQ 경로를 추가했다. 또한 W4A4와 W4A8, 조밀·희소 혼합 전문가 경로를 다룬다. 이번 업데이트의 구체적인 변경은 GitHub의 b12122 릴리스 노트에 공개됐다.
이 릴리스의 핵심은 NVFP4에서 세 연산을 하나의 MMQ 경로로 융합하고, W4A4·W4A8과 조밀·희소 혼합 전문가 경로도 함께 다룬다는 점이다. 관련 변경의 공개 측정은 DGX Spark와 RTX 5090을 비롯한 여러 장치에서 모델별 처리량 향상을 보고한다. 따라서 측정 결과는 기기 하나에 한정된 보고가 아니라 여러 장치와 모델에 걸친 결과다. 다만 제공된 정보에는 각 모델이나 측정 조건이 구체적으로 적혀 있지 않다.
공개 측정이 관련 변경을 대상으로 한다는 점은 해석에 중요하다. b12122의 NVFP4 MMQ 융합 경로만으로 처리량 향상이 발생했다고 단정할 근거는 주어지지 않았다. 모델별 향상의 크기도 공개된 정보에 없다. 그러므로 이 결과를 모든 모델이나 장치에서 같은 개선이 나타난다는 뜻으로 읽어서는 안 된다. 릴리스 노트가 확인해 주는 범위는 관련 변경의 여러 장치·모델별 처리량 향상 보고까지이며, 개별 환경에서의 이득은 이 정보만으로 판단하기 어렵다.