프로젝트

kvmem/kvmem

KVMem virtualizes KV memory across inference backends to make ultra-long-context local AI accessible on limited hardware.

게시물

새 소식OCT 18

kvmem/kvmem v0.18.0은 KV 캐시를 호스트 메모리에 두고 필요할 때 GPU로 되올려 긴 컨텍스트 추론을 지원하는 C++ 프로젝트다.