srikanthbalaaji/dimmer-kv は、大規模言語モデルの推論に使われるキー・バリューキャッシュ（KV cache）をトークン単位の精度で圧縮する Python プロジェクトである。トークンを削除するのではなく、各トークンの保存精度を下げ、新しい質問が寄せられたときに必要なトークンの詳細情報を補完する。圧縮されたキャッシュ上で直接アテンションを計算する実装も提示している。リポジトリの説明は、元のキャッシュと同じ精度を保ったままキャッシュを 37 分の 1 にまで小さくできるとしている。
要点は、質問に必要になる情報を残すように圧縮を調整することにある。README には、ホット・コールド階層とプログレッシブビット平面を利用し、トークン単位の精度を変換符号化（transform coding）で扱う方法が紹介されている。PyTorch と Hugging Face を使用し、MIT ライセンスを適用している。README が報告した試験は Llama 3.2 1B と 8 千トークンの条件である。このとき FP16 キャッシュの 3% のサイズまで圧縮した状態で、隠された 24 個の事実のうち 21 個を想起しており、リポジトリはこれを元のキャッシュと同じ結果として報告している。
ただし、試験結果はリポジトリ自身の報告であり、示された数値は特定のモデルと条件に限定される。他のモデルやタスクでも同じ圧縮率と想起結果が得られると判断できる根拠は FACTS には存在しない。したがって、37 分の 1 という圧縮はプロジェクトが提示した成果として読むべきであり、実際の適用可能性は当該条件以外の検証と区別して扱う必要がある。