ggml-org/llama.cpp의 release b12180은 Kimi-K3.1-Pro 텍스트 모델을 추가했다. 이 저장소는 C와 C++로 작성된 LLM 추론 프로젝트다. 이번 변경의 핵심은 해당 텍스트 모델을 다루기 위한 어텐션 구성과 관련된 지원을 추가한 점이다. 변경 내용은 GitHub의 b12180 릴리스 정보에 기록돼 있다.
릴리스 설명에 따르면 전체 어텐션 층은 DSA로 대체됐다. 93층 가운데 24층에는 번개 인덱서를 얹었으며, 나머지 선형 어텐션 층과 혼합 전문가 구조는 유지했다. 따라서 모든 층을 같은 방식으로 바꾼 것이 아니라, 일부 층에 번개 인덱서를 적용하고 다른 구성은 그대로 둔 변경이다. 검증에서는 8층 조각 단위로 38개 텐서를 정확히 비교했다고 설명한다. DSA의 정식 명칭이나 비교 대상은 제공된 정보에 나오지 않는다.
이 릴리스 정보가 확인해 주는 범위는 모델 추가와 층 구성 변경, 그리고 텐서 비교 검증까지다. 38개 텐서를 정확히 비교했다는 설명은 있지만, 무엇을 기준으로 비교했는지와 93층 전체를 어떻게 검증했는지는 주어지지 않는다. 성능이나 실행 속도, 메모리 사용량에 대한 수치도 없다. 따라서 이 기록만으로는 추론 효율이 나아졌다고 판단할 수 없으며, 확인 가능한 변화는 Kimi-K3.1-Pro 텍스트 모델 지원과 설명된 구성 변경에 한정된다.