ovg-project/kvcached는 공유 GPU 환경에서 LLM 서빙과 학습을 지원하는 KV cache 데몬이다. GitHub에 공개된 최신 릴리스는 v0.1.6이다. 제공된 자료에는 이 버전에서 바뀐 항목이 구체적으로 적혀 있지 않다. 프로젝트의 핵심은 GPU 가상 주소와 실제 물리 메모리 할당을 분리하는 방식이다. 처음에는 가상 영역을 예약하고, 실제 사용 시 물리 GPU 메모리를 연결해 KV cache를 탄력적으로 할당한다.
이 방식은 여러 모델이 GPU를 공유할 때 KV cache 메모리 병목을 다루려는 설계다. 트래픽에 따라 메모리를 할당하고 회수해 모델을 올리거나 내리는 데 활용할 수 있다. v0.1.6 기준 vLLM은 v0.17.0 이상을 지원하며 v0.30.0까지 검증됐고, SGLang은 v0.5.11 이상을 지원하며 v0.5.20까지 검증됐다. 자동 접두사 캐싱, 파이프라인 병렬, 유휴 모델 절전, 메모리 상한 제어도 포함한다. Python 3.10부터 3.13까지 지원하며 Apache-2.0 라이선스로 공개됐다.
README는 메모리 절감이나 성능 향상의 수치를 본문에 제시하지 않고 외부 블로그를 참조한다. 따라서 기능과 엔진 지원 범위는 확인할 수 있지만, 실제 운영에서 얻는 이득의 크기는 제공된 자료만으로 판단하기 어렵다. 공유 GPU의 메모리 관리 방식으로는 구체적인 구현을 갖췄지만, 도입 효과는 별도 검증이 필요한 단계에 가깝다.