nvidia/model-optimizer

nvidia/model-optimizer は、複数のモデル最適化手法を用いて推論フレームワークに展開できるチェックポイントを作成する Python ライブラリである。

GitHub の説明: A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.

スター

★ 5.4K

フォーク

759

言語

Python

ライセンス

Apache-2.0

最新リリース

0.47.0