alleyxd/quantpicker v0.1.0 は、GPU 上で実行する GGUF 量子化候補の速度と品質劣化を実際に測って選ぶコマンドラインツールです。最新リリースは v0.1.0 で、リポジトリの README はこれを、推定値ではなく利用者の GPU での測定に基づく選定ツールとして紹介しています。
このツールは llama-bench を使って各候補の生成・入力処理速度を測定し、基準モデルとの KL ダイバルジェンス（クリーンブラック–ライプラー ダイバルジェンス）によって出力分布の差を比較します。KL ダイバルジェンスは、2 つの確率分布がどれだけ異なるかを示す値です。メモリに収まるかどうかと許容できる品質劣化を併せて考慮し、最も速い量子化を選びます。選定条件には速度だけでなく、基準モデルと比べて出力がどれだけ変わるかも含まれます。品質の許容値を調整し、どの程度の出力差を許容するかを決められるように設計されています。プロジェクトは Rust で書かれており、MIT ライセンスを使用しています。
ただし、文書の測定数値は一般的な英語の試験文に対する相対的なものです。README は、コードや他の言語が重要になる作業では専用の文を指定するよう案内しています。公開されている測定数値と例示はリポジトリ作者が提示した結果であり、独立した検証ではありません。したがって、選定結果はあらゆる作業に通用する品質の保証ではなく、その文と GPU 条件のもとで候補を絞り込むための参考値として捉えるのが妥当です。