kmswin1/moezip は、NeurIPS 2026 に承認された MoEZip の公式実装リポジトリである。MoEZip は、疎な混合エキスパート(MoE)言語モデルにおいてキー・バリューキャッシュ(KV cache)を圧縮する方法である。2026 年 10 月 14 日の最新コミットが手を加えたのは README.md の 1 ファイルだけである。タイトル 1 行だけだった文書を、プロジェクト説明とインストール案内、引用形式を含む README として新しく埋め直した。
README は、この方法が狙っている問題をはっきり示している。既存の KV キャッシュ圧縮は役に立ちそうのない項目を追い出すが、MoE モデルではその過程でエキスパートへ向かう経路(routing)判定が変わり、生成品質が落ちる可能性があるという。MoEZip は、項目を 1 つ削除したときに経路判定がどれだけ揺らぐかを示すフィッシャー情報(Fisher information)を、注意に基づく重要度スコアと組み合わせ、何を追い出すかを決める。README は、KV キャッシュを 10% だけ残すとき、最高性能基準線(state-of-the-art baseline)を LongBench で 24 点(2.3 倍)、RULER で 20 点(4.9 倍)上回ると記している。実装は NVIDIA の KVPress の上に載っており、kvpress のインストールと run_example.sh の実行から始まる。
ただし、今回のコミットで変わったのは README の 55 行追加と 1 行削除のみで、コードが変わったわけではない。上述の数値はいずれも README 自身が明かしている値であり、比較対象がどの方法なのかは README に名前が記されていない。ライセンス表示と必要なハードウェア仕様も、今回のコミットでは示されていない。つまり方法提案は文書として読む価値はあるが、数値だけで性能を断定するには早い。