srikanthbalaaji/dimmer-kv 是一个 Python 项目，按 token 精度压缩大语言模型推理所用的键值缓存（KV cache）。它不去除 token，而是降低每个 token 的存储精度，并在新问题到来时补全所需 token 的细节信息。它还给出了直接在压缩后的缓存上计算注意力的实现。仓库说明称，它可以在保持与原始缓存相同准确度的同时，把缓存压缩到原来的 1/37。
核心是调整压缩方式，使回答问题所需的信息得以保留。README 介绍了利用热层与冷层以及渐进式比特平面，并以变换编码（transform coding）来处理逐 token 精度的方法。项目使用 PyTorch 和 Hugging Face，采用 MIT 许可证。README 报告的试验条件是 Llama 3.2 1B 和 8 千 token。此时压缩到 FP16 缓存 3% 的大小，仍回想起 24 个隐藏事实中的 21 个，仓库将这一结果报告为与原始缓存相同。
不过，试验结果由仓库自行报告，所列数值仅限于特定模型和特定条件。FACTS 中并没有依据表明，在其他模型或任务上也会得到相同的压缩率和回想结果。因此，37 倍压缩应被视为项目自己提出的结果，其实际适用性需要与该条件之外的验证区分开来。