srkrz23/vramkit은 LLM 추론에서 가중치와 KV 캐시를 각각 압축해 메모리 사용량을 줄이는 Python 저장소다. 별도 릴리스 버전은 FACTS에 주어지지 않았다. README는 ROCm, CUDA, MPS, CPU 지원을 밝힌다. 통합 메모리를 쓰는 노트북에서 더 큰 모델을 다루려는 접근이지만, 실제 적용 범위는 제시된 측정과 구현에 한정해 봐야 한다.
가중치 코덱은 32비트 범위 부호기와 2차원 적응 문맥 모델을 사용한다. README에 따르면 Qwen2.5-0.5B의 self_attn.o_proj(int4)는 무손실로 가중치당 2.676비트를 기록했다. 이는 raw 4비트보다 33.1% 낮고, zstd-19의 2.717비트보다도 낮다. 전체 텐서 평균은 2.92비트로, 4비트 대비 27% 감소했다고 적었다. KV 캐시는 키를 채널별, 값을 토큰별로 양자화한다. README는 기준 perplexity 약 18에서 int8의 2배 압축과 0.1% 손실을 보고한다. 같은 메모리 조건의 토큰별 방식은 4.6% 손실, int4 키는 25.6% 손실이라고 제시한다.
이 수치들은 모두 저자의 Apple Silicon 노트북 측정이며, 독립 검증 결과는 FACTS에 제시되지 않았다. 저자는 이전 판에서 코사인 유사도로 품질을 평가한 오류를 스스로 정정했다고 밝혔다. 저장소에는 테스트 디렉터리와 지속적 통합 설정이 없다. 따라서 벤치마크 수치는 재현과 추가 검증이 필요한 저자 보고로 보는 편이 타당하다.