推理内存与缓存
在推理期间减少或虚拟化模型权重、激活值、注意力状态或 KV 缓存内存的技术；不包括部署前进行的有损模型量化和常规 RAM 管理。
子领域
| 项目 | 用途 | Star | 语言 | 许可证 | 最新版本 |
|---|---|---|---|---|---|
| kvmem/kvmem | KVMem 在 llama.cpp 与 NInfer 之间虚拟化 KV 内存，在主机内存和 GPU 之间卸载缓存。 | ★ 1.1K | C++ | — | v0.18.0 |
| surya-koritala/glyd | 无损运行时编解码器可压缩GPU内存中的BF16权重和KV缓存，并精确恢复原值。 | ★ 255 | Rust | NOASSERTION | v0.32.1 |
| srkrz23/vramkit | 提供用于压缩LLM推理权重和KV缓存的实验方案，以减少显存占用。 | ★ 3 | Python | — | — |