srikanthbalaaji/dimmer-kv는 대형 언어 모델 추론에 쓰이는 키·값 캐시(KV cache)를 토큰별 정밀도로 압축하는 Python 프로젝트다. 토큰을 제거하는 대신 각 토큰의 저장 정밀도를 낮추고, 새 질문이 들어오면 필요한 토큰의 세부 정보를 보강한다. 압축된 캐시에서 직접 어텐션을 계산하는 구현도 제시한다. 저장소 소개는 원래 캐시와 같은 정확도를 유지하면서 캐시를 37배 작게 만들 수 있다고 설명한다.
핵심은 질문에 필요한 정보를 남기도록 압축을 조절하는 방식이다. README에는 핫·콜드 계층과 점진적 비트 평면을 이용하고, 변환 코딩(transform coding)으로 토큰별 정밀도를 다루는 방법이 소개되어 있다. PyTorch와 Hugging Face를 사용하며 MIT 라이선스를 적용한다. README가 보고한 시험은 Llama 3.2 1B와 8천 토큰 조건이다. 이때 FP16 캐시의 3% 크기로 압축한 상태에서 숨은 사실 24개 중 21개를 회상했고, 저장소는 이를 원본 캐시와 같은 결과라고 보고한다.
다만 시험 결과는 저장소가 자체적으로 보고한 것이며, 제시된 수치는 특정 모델과 조건에 한정된다. 다른 모델이나 작업에서도 같은 압축률과 회상 결과가 나온다고 볼 근거는 FACTS에 없다. 따라서 37배 압축은 프로젝트가 내세우는 결과로 읽고, 실제 적용 가능성은 해당 조건 밖의 검증과 구분할 필요가 있다.