GitHub의 intel/neural-compressor 저장소가 공개한 최신 릴리스는 v3.10이다. Python으로 만든 오픈 소스 모델 압축 라이브러리로, 학습된 모델의 가중치와 연산을 적은 비트 수(INT8, FP8, MXFP8, INT4, MXFP4, NVFP4)로 근사해 메모리 사용량과 연산 비용을 낮추는 것을 목표로 한다.
지원 범위의 폭이 이 라이브러리의 지점이다. README는 PyTorch, TensorFlow, JAX를 지원한다고 밝히고, 저장소 설명에는 PyTorch·TensorFlow·ONNX Runtime을 대상으로 한 양자화와 희소성(sparsity, 일부 가중치를 0으로 두는 방식)이 함께 적혀 있다. PyTorch와 TensorFlow, JAX는 널리 쓰이는 딥러닝 프레임워크고, ONNX Runtime은 추론을 실행하는 런타임이다. 여러 프레임워크의 모델을 한 라이브러리에서 다루는 구조이며, 라이선스는 Apache-2.0이고 저장소의 별 수는 2722개다. 저장소는 2020년 7월 21일에 만들어졌다.
기법도 여러 갈래로 나뉜다. Static Quantization, Dynamic Quantization, SmoothQuant, Weight-Only Quantization, Quantization-Aware Training(QAT), Mixed Precision의 제공을 목표로 하며, AutoRound 통합을 통해 LLM과 VLM(시각-언어 모델)의 고급 양자화도 지원한다. 가중치만 낮은 정밀도로 내리는 Weight-Only와, 학습 단계에서 양자화를 함께 고려해 학습하는 QAT처럼 양자화를 적용하는 위치가 서로 다르다. Mixed Precision은 일부 연산만 정밀도를 낮추고 나머지는 그대로 두는 방식이다.
다만 자료에 v3.10의 릴리스 노트 항목이 없어 이 릴리스에서 무엇이 바뀌었는지는 특정할 수 없다. 저장소 설명은 저비트 LLM 양자화에 앞선 기법이 있다고 소개하지만, 성능 비교 수치나 양자화 뒤 정확도가 얼마나 떨어지는지에 대한 값이 실려 있지 않아 다른 도구와 우열을 정하기는 이르다. 실제 쓸모는 대상 모델과 하드웨어에서 양자화 전후의 정확도와 처리 속도를 함께 확인해야 알 수 있고, 여기까지가 자료로 확인되는 범위다.