intel/neural-compressor

PyTorch·TensorFlow·JAX를 지원하는 모델 압축 라이브러리 intel/neural-compressor의 최신 릴리스 v3.10과 지원 양자화 기법의 범위, 그리고 자료에 없는 릴리스 변경 사항을 정리한다.

GitHub 설명: SOTA low-bit LLM quantization (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) & sparsity; leading model compression techniques on PyTorch, TensorFlow, and ONNX Runtime

스타

★ 2.7K

포크

330

언어

Python

라이선스

Apache-2.0

최신 릴리스

v3.10