nvidia/model-optimizer は、深層学習モデルを圧縮して推論用に展開することを支援する Python ライブラリである。最新リリースは 0.47.0 で、リポジトリの説明では、量子化|pruning（枝刈り）、蒸留、Neural Architecture Search（NAS）、speculative decoding などの手法を提供するとされている。このリリースで新しく変更された具体的な項目は、提供された資料には記載がない。リポジトリは Apache-2.0 ライセンスで公開されている。
このライブラリは Hugging Face、PyTorch、ONNX のモデルを入力として受け取り、Python API で最適化手法を組み合わせて、最適化された量子化チェックポイントを書き出すことができる。量子化は重みをより低い精度で表現する方式であり、資料に示された目的は、推論エンジンがチェックポイントに使う重みメモリを減らすことである。書き出したチェックポイントは SGLang、TensorRT-LLM、TensorRT、vLLM などの推論フレームワークに展開できる。つまり重点は、学習そのものよりも、推論環境に_MEMORY爱上适合するようモデルを圧縮して展開する過程にある。
ただし、提供された資料には、特定のモデルにおける圧縮率、精度の変化、スループットなどの測定結果はない。手法と対応対象は確認できるが、実際の性能変化の大きさをこの情報だけで判断することはできない。最新リリース番号は確認できるが、そのバージョンの変更内容も示されていないため、何が新しく追加されたかは断定できない。