srikanthbalaaji/dimmer-kv

srikanthbalaaji/dimmer-kv는 토큰별 정밀도를 낮춰 KV 캐시를 압축하고 압축된 캐시에서 직접 어텐션을 계산하는 프로젝트다.

GitHub 설명: KV cache compression for LLM inference: 37× smaller KV cache at full-cache accuracy. Per-token precision on transform coding, question-time refinement, and attention over the compressed cache. PyTorch + Hugging Face.