추론 메모리·캐시
추론 중 모델 가중치, 활성값, 어텐션 상태 또는 KV 캐시의 메모리를 줄이거나 가상화하는 기술. 배포 전에 수행되는 품질 손실 모델 양자화와 일반적인 RAM 관리는 제외.
세부 분야
| 프로젝트 | 하는 일 | 스타 | 언어 | 라이선스 | 최근 릴리스 |
|---|---|---|---|---|---|
| kvmem/kvmem | llama.cpp와 NInfer 간 KV 메모리를 가상화해 호스트와 GPU 사이에서 오프로드하는 구성요소입니다. | ★ 1.1K | C++ | — | v0.18.0 |
| surya-koritala/glyd | GPU 메모리의 BF16 가중치와 KV 캐시를 손실 없이 압축해 실행 시 원래 값을 복원한다. | ★ 255 | Rust | NOASSERTION | v0.32.1 |
| srkrz23/vramkit | LLM 추론 시 가중치와 KV 캐시의 VRAM 사용량을 줄이는 압축 실험을 제공한다. | ★ 3 | Python | — | — |