ovg-project/kvcached 是一个 KV cache 守护进程，支持共享 GPU 环境中的 LLM 服务与训练。GitHub 上公开的最新版本是 v0.1.6。所提供的资料并未具体说明该版本有哪些变更。项目的核心在于它将 GPU 虚拟地址与实际物理内存分配相分离。起初先保留虚拟区域，在实际使用时再挂载物理 GPU 内存，从而弹性地分配 KV cache。
这种设计旨在应对多个模型共享 GPU 时的 KV cache 内存瓶颈。可以根据流量分配和回收内存，用于模型的启动与下线。以 v0.1.6 为准，vLLM 支持 v0.17.0 及以上版本，并已验证至 v0.30.0；SGLang 支持 v0.5.11 及以上版本，并已验证至 v0.5.20。它还包含自动前缀缓存、流水线并行、空闲模型休眠和内存上限控制。支持 Python 3.10 至 3.13，并以 Apache-2.0 许可证发布。
README 正文并未给出内存节省或性能提升的数值，而是引用了一篇外部博客文章。因此可以确认其功能与引擎支持范围，但仅凭所提供的资料难以判断在实际运营中能获得多大收益。作为共享 GPU 的一种内存管理方式，它提供了具体的实现，但引入后的效果仍处于需要单独验证的阶段。