GitHub 上的 intel/neural-compressor 仓库公开的最新版本是 v3.10。它是一个用 Python 编写的开源模型压缩库,目标是把训练好的模型的权重和运算近似到更少的比特(INT8、FP8、MXFP8、INT4、MXFP4、NVFP4),以降低内存占用和运算成本。
支持范围之广是这个库的卖点。README 说明支持 PyTorch、TensorFlow、JAX,仓库简介则列出了以 PyTorch、TensorFlow、ONNX Runtime 为目标的量化以及稀疏性(把部分权重置零)。PyTorch、TensorFlow、JAX 是广泛使用的深度学习框架,ONNX Runtime 是执行推理的运行时。它能在一个库中处理多个框架的模型;许可证为 Apache-2.0,仓库有 2722 个 star。仓库创建于 2020 年 7 月 21 日。
技术路线也分为多条。它旨在提供 Static Quantization、Dynamic Quantization、SmoothQuant、Weight-Only Quantization、Quantization-Aware Training(QAT)、Mixed Precision,并通过集成 AutoRound 支持对 LLM 和 VLM(视觉-语言模型)的高级量化。只把权重降到更低精度的 Weight-Only,与在训练阶段一并考虑量化来进行训练的 QAT,差别在于施加量化的位置不同。Mixed Precision 则是只降低部分运算的精度、其余保持不变的方式。
不过,由于资料中没有 v3.10 的发布说明条目,无法确定这个版本究竟改动了什么。仓库简介介绍了领先于低比特 LLM 量化的技术,但没有给出性能对比数值,也没有量化后精度下降的幅度,因此要与其他工具比较高下还为时过早。实际是否有用,需要在目标模型和硬件上比较量化前后的精度与处理速度才能知道,资料能确认的范围也就到此为止。