kmswin1/moezip 是获 NeurIPS 2026 录用的 MoEZip 的官方实现仓库。MoEZip 是一种在稀疏混合专家(MoE)语言模型中压缩键值缓存(KV cache)的方法。2026 年 10 月 14 日的最新提交只改动了 README.md 一个文件。它把此前只有一行标题的文档重新填充为一份包含项目说明、安装指引和引用格式的 README。
README 清楚说明了这一方法所针对的问题。已有的 KV 缓存压缩会把看起来无用的条目剔除，但在 MoE 模型中，这一过程会改变通往专家的路径(routing)判定，从而可能降低生成质量。MoEZip 将表示「删除单个条目时路径判定会波动多少」的费雪信息(Fisher information)与基于注意力的重要性分数结合起来，以此决定该剔除什么。README 中写道，在只保留 10% 的 KV 缓存时，它在 LongBench 上领先最高性能基线(state-of-the-art baseline)24 分(2.3 倍)，在 RULER 上领先 20 分(4.9 倍)。该实现构建在 NVIDIA 的 KVPress 之上，因此需要先安装 kvpress 并运行 run_example.sh 即可开始使用。
不过，本次提交所做的改动仅为 README 增加 55 行、删除 1 行，代码并未发生变化。上述数值全部是 README 自行披露的，而 README 中并未写出比较对象是哪种方法。许可证标注和所需的硬件规格在本次提交中也没有给出。也就是说，这份方法提案作为文档值得一读，但仅凭这些数字就对性能下定论尚为时过早。