intel/neural-compressor

PyTorch・TensorFlow・JAX をサポートするモデル圧縮ライブラリ intel/neural-compressor の最新リリース v3.10、対応する量子化手法の範囲、そして資料に記載のないリリース変更点を整理する。

GitHub の説明: SOTA low-bit LLM quantization (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) & sparsity; leading model compression techniques on PyTorch, TensorFlow, and ONNX Runtime

スター

★ 2.7K

フォーク

330

言語

Python

ライセンス

Apache-2.0

最新リリース

v3.10