kvmem/kvmem은 추론 중 대화 내용을 기억하는 KV 캐시를 호스트 메모리에 두고, 필요할 때 GPU로 되올려 긴 컨텍스트를 처리하는 C++ 프로젝트다. GitHub 저장소에 공개된 최신 버전은 v0.18.0이다. 제공된 자료에는 이 버전의 변경 내역이 없어 구체적으로 무엇이 새로 추가됐는지는 확인할 수 없다.
이 프로젝트는 llama.cpp와 NInfer가 공유 메모리·검색·저장 방식을 사용하면서 각 백엔드의 추론은 유지하는 구조다. 기본 레시피는 컨텍스트 204800, GPU 이력 예산 36864, 생성 예약 16384, 호스트 KV 12288 MiB, sink 5120·recent 64 토큰으로 제시된다. recent 64는 NInfer가 허용하는 최소값이며 llama.cpp의 기본 블록 128과 의미가 다르다. 저장소는 두 값을 그대로 옮겨 쓰지 말라고 안내한다.
검증 범위는 제한적이다. 성능 수치는 RTX 5060 Ti 16 GB 한 구성에서 확인됐고, NInfer의 Windows 실행 패키지에는 sm75와 sm70 하드웨어 시험용 RC1이 있지만 물리 GPU 적합성 검증은 아직 완료되지 않았다. 저장소에는 arXiv 논문 2609.04852, 27개 파일의 C++ 테스트, 백엔드 버전 매니페스트와 SHA256 합계 파일이 있다. 다만 이 자료만으로 다른 하드웨어의 성능이나 호환성을 판단하기는 어렵다.