nvidia/model-optimizer는 심층학습 모델을 압축해 추론에 배포하도록 돕는 Python 라이브러리다. 최신 릴리스는 0.47.0이며, 저장소 설명은 양자화, 가지치기, 증류, Neural Architecture Search(NAS), speculative decoding 등의 기법을 제공한다고 밝힌다. 이 릴리스에서 새로 바뀐 구체적인 항목은 제공된 자료에 없다. 저장소는 Apache-2.0 라이선스로 공개되어 있다.
이 라이브러리는 Hugging Face, PyTorch 또는 ONNX 모델을 입력으로 받아 Python API에서 최적화 기법을 조합하고, 최적화된 양자화 체크포인트를 내보낼 수 있다. 양자화는 가중치를 낮은 정밀도로 표현하는 방식이며, 체크포인트가 추론 엔진에서 사용하는 가중치 메모리를 줄이는 것이 자료에 제시된 목적이다. 내보낸 체크포인트는 SGLang, TensorRT-LLM, TensorRT, vLLM 등의 추론 프레임워크에 배포할 수 있다. 따라서 학습 자체보다 모델을 추론 환경에 맞춰 압축하고 배포하는 과정에 초점을 둔다.
다만 제공된 자료에는 특정 모델에서의 압축률, 정확도 변화, 처리량 같은 측정 결과가 없다. 기법과 지원 대상은 확인할 수 있지만, 실제 성능 변화의 크기는 이 정보만으로 판단할 수 없다. 최신 릴리스 번호는 확인되지만 해당 버전의 변경 내용도 주어지지 않아, 무엇이 새로 추가되었는지는 단정할 수 없다.