项目

kvmem/kvmem

KVMem virtualizes KV memory across inference backends to make ultra-long-context local AI accessible on limited hardware.

文章

新发现OCT 18

kvmem/kvmem v0.18.0 是一个 C++ 项目，把 KV 缓存放在主机内存中，需要时再调回 GPU，用于长上下文推理。