GitHub の intel/neural-compressor リポジトリが公開した最新リリースは v3.10 だ。Python で書かれたオープンソースのモデル圧縮ライブラリで、学習済みモデルの重みと演算を少ないビット数（INT8、FP8、MXFP8、INT4、MXFP4、NVFP4）で近似し、メモリ使用量と演算コストを下げることを目指している。
対応範囲の広さがこのライブラリの特徴だ。README は PyTorch、TensorFlow、JAX をサポートすると明記し、リポジトリの説明には PyTorch・TensorFlow・ONNX Runtime を対象とする量子化と疎密化（一部の重みを 0 にする方式）が併記されている。PyTorch、TensorFlow、JAX は広く使われるディープラーニングフレームワークで、ONNX Runtime は推論を実行するランタイムだ。複数のフレームワークのモデルを 1 つのライブラリで扱える構成で、ライセンスは Apache-2.0、リポジトリのスターは 2722 個だ。リポジトリは 2020 年 7 月 21 日に作成された。
手法も複数に枝分かれしている。Static Quantization、Dynamic Quantization、SmoothQuant、Weight-Only Quantization、Quantization-Aware Training(QAT)、Mixed Precision の提供を目標とし、AutoRound の統合により LLM と VLM（視覚言語モデル）に対する高度な量子化にも対応する。重みだけを低い精度に落とす Weight-Only と、学習段階で量子化を考えながら学習する QAT は、量子化を適用する箇所が異なる。Mixed Precision は一部の演算だけ精度を下げ、残りはそのままにする方式だ。
ただし資料に v3.10 のリリースノート項目がないため、このリリースで何が変わったかは特定できない。リポジトリの説明はロービット LLM 量子化に先行する手法を紹介しているが、性能比較の数値も量子化後の精度低下率も示されていないため、他のツールと優劣を断じるのは早い。実際の有用性は対象モデルとハードウェアで量子化前後の精度と処理速度を合わせて確認しないとわからず、資料で確認できる範囲はここまでだ。