modelcloud/gptqmodel は、大規模言語モデル（LLM）の重みを低いビット数に量子化・圧縮し、ハードウェアアクセラレーション環境で推論できるようにする Python ツールキットだ。リポジトリの作成日は 2024 年 6 月 17 日で、GitHub リリース基準の最新バージョンは v7.6.0 である。ただし、与えられた記録には v7.6.0 の変更項目一覧がないため、何が変わったかは確認できない。バージョン情報の出所はリポジトリの GitHub リリースページだ。
README はこのリポジトリを LLM の量子化・検証・デプロイのための拡張可能なプラットフォームと説明している。校正（calibration）、量子化、品質評価、モデル変換、アクセラレーション推論を 1 つの API にまとめ、GPTQ、AWQ、ParoQuant、GGUF、FP8、EXL3、QQQ などのフォーマットを取り扱う。ハードウェアアクセラレーションは NVIDIA CUDA、AMD ROCm、Huawei Ascend、Intel XPU と Intel/AMD/Apple CPU が対象で、Transformers、vLLM、SGLang と併用される。GitHub スター数は 1274 だ。
ただしライセンス識別子が NOASSERTION のままであるため、再利用や配布の条件は与えられた記録だけでは確認できない。鮮度・技術・品質スコアは未算出で、モメンタムスコアのみ 0.0 であるため、判断の根拠は README の説明とスター数にとどまる。量子化損失の数値もなく、実際の損失水準は元のモデルと出力を比較して初めて推測できる。