모델 메모리 압축
로드된 모델 가중치나 상태가 차지하는 메모리를 최소한의 품질 손실로 줄이는 런타임 기법. 오프라인 양자화 형식 연구와 추론 벤치마크 스위트는 제외.
| 프로젝트 | 하는 일 | 스타 | 언어 | 라이선스 | 최근 릴리스 |
|---|---|---|---|---|---|
| surya-koritala/glyd | GPU 메모리의 BF16 가중치와 KV 캐시를 손실 없이 압축해 실행 시 원래 값을 복원한다. | ★ 255 | Rust | NOASSERTION | v0.32.1 |
| srkrz23/vramkit | LLM 추론 시 가중치와 KV 캐시의 VRAM 사용량을 줄이는 압축 실험을 제공한다. | ★ 3 | Python | — | — |