srikanthbalaaji/dimmer-kv

srikanthbalaaji/dimmer-kv は、トークン単位の精度を下げることで KV キャッシュを圧縮し、圧縮されたキャッシュ上で直接アテンションを計算するプロジェクトである。

GitHub の説明: KV cache compression for LLM inference: 37× smaller KV cache at full-cache accuracy. Per-token precision on transform coding, question-time refinement, and attention over the compressed cache. PyTorch + Hugging Face.