kvmem/kvmem 是一个 C++ 项目，把推理中保存对话内容的 KV 缓存放在主机内存里，需要时再调回 GPU，从而处理长上下文。GitHub 仓库公开的最新版本是 v0.18.0。所提供的资料中没有这一版本的变更记录，因此无法确认具体新增了什么。
该项目让 llama.cpp 与 NInfer 使用相同的共享内存、检索与存储方式，同时各自保留后端的推理路径。默认配方给出的是上下文 204800、GPU 历史预算 36864、生成预留 16384、主机 KV 12288 MiB，以及 sink 5120 与 recent 64 token。recent 64 是 NInfer 允许的最小值，与 llama.cpp 默认的 128 块含义不同。仓库提醒不要把这两个数值原样照搬。
验证范围有限。性能数据来自 RTX 5060 Ti 16 GB 这一种配置；NInfer 的 Windows 发布包里有面向 sm75 与 sm70 硬件试验的 RC1，但实体 GPU 适配性验证尚未完成。仓库中有 arXiv 论文 2609.04852、27 个文件的 C++ 测试、后端版本清单和 SHA256 校验文件。不过仅凭这些资料，很难判断其他硬件上的性能或兼容性。