ggml-org/llama.cpp v0.7.0은 C와 C++로 대규모 언어 모델을 로컬에서 추론하는 엔진의 릴리스다. 이번 버전은 서버 쪽 채팅 세션 API를 common_chat_session 기반으로 리팩터링하고, 호스트 메모리에 있는 expert를 위한 GPU 캐시를 추가했다. 기본 포트는 8080에서 9931로 바뀌었다.
채팅 세션 변경에는 feed와 finish가 포함됐다. GPU 캐시는 호스트 메모리에 있는 expert를 대상으로 하며, README는 이 기능으로 디코드가 최대 2.2배 빨라졌다고 설명한다. 이번 릴리스에는 LiliCorr 추측 디코딩과 K2 Horizon, EmbeddingGemma-2 지원도 추가됐다. 이처럼 서버 API와 추론 경로, 모델 지원이 함께 바뀐 릴리스다. 프로젝트는 MIT 라이선스이며 주 언어는 C++다. ggml 연산 문서와 lib llama 공개 API는 별도로 관리된다.
다만 최대 2.2배라는 수치의 측정 조건은 제공된 정보에 나와 있지 않으므로, 모든 모델이나 환경에 적용되는 성능으로 볼 수는 없다. 서버 채팅 세션 API를 사용하는 경우에는 리팩터링된 인터페이스가 변경의 핵심이다. 이번 릴리스의 판단은 성능 수치보다 API와 추론 기능의 실제 변경 범위에 두는 편이 타당하다.