vllm-project/llm-compressor의 최신 릴리스는 0.14.0이다. vLLM 배포를 위해 모델을 압축·양자화하는 Python 라이브러리다. 제공된 자료에는 0.14.0에서 바뀐 구체적인 항목이 없어, 이번 버전의 변경 내용은 확인할 수 없다.
양자화는 모델의 숫자 표현을 낮은 정밀도로 바꾸는 방식이다. 이 저장소는 GPTQ·AWQ 같은 알고리즘과 가중치·활성값·KV 캐시·attention 양자화를 공통 작업 흐름으로 제공한다. Hugging Face 모델 및 저장소와 통합되고, 압축한 모델을 vLLM 호환 compressed-tensors 형식으로 저장할 수 있다. 큰 모델을 위한 DDP와 디스크 오프로딩도 지원한다고 README에 적혀 있다. 따라서 모델 압축부터 vLLM 배포에 맞는 형식으로 저장하는 과정까지 다루는 도구다.
다만 이 기능은 저장소 README에 기재된 범위이며, 제공된 자료에는 압축률이나 서빙 성능을 보여주는 수치, 다른 도구와의 비교가 없다. 양자화 알고리즘과 처리 경로가 있다는 사실만으로 실제 배포 환경의 메모리 절감량이나 속도 향상을 판단할 수는 없다. 0.14.0의 변경점도 제시되지 않았으므로, 이 자료로 확인할 수 있는 것은 라이브러리의 용도와 문서화된 기능까지다.