KV 缓存
用于更快或更大上下文推理的 KV 缓存实现、虚拟化、多路复用、压缩和持久化；不包括通用磁盘缓存和提示词 Token 计费工具。
| 项目 | 用途 | Star | 语言 | 许可证 | 最新版本 |
|---|---|---|---|---|---|
| kvmem/kvmem | KVMem 在 llama.cpp 与 NInfer 之间虚拟化 KV 内存，在主机内存和 GPU 之间卸载缓存。 | ★ 1.1K | C++ | — | v0.18.0 |
用于更快或更大上下文推理的 KV 缓存实现、虚拟化、多路复用、压缩和持久化；不包括通用磁盘缓存和提示词 Token 计费工具。
| 项目 | 用途 | Star | 语言 | 许可证 | 最新版本 |
|---|---|---|---|---|---|
| kvmem/kvmem | KVMem 在 llama.cpp 与 NInfer 之间虚拟化 KV 内存，在主机内存和 GPU 之间卸载缓存。 | ★ 1.1K | C++ | — | v0.18.0 |