alleyxd/quantpicker v0.1.0 是一个命令行工具,直接在 GPU 上测量待运行的 GGUF 量化候选的速度与质量损失,以便从中挑选。最新版本为 v0.1.0,仓库 README 将其介绍为基于用户自己 GPU 实测数据(而非估算值)的选型工具。
该工具使用 llama-bench 测量每个候选的生成与输入处理速度,并通过与基准模型的 KL 散度(Kullback–Leibler)比较输出分布差异。KL 散度表示两个概率分布的差异程度。它在兼顾显存是否装得下以及可接受的质量损失的前提下,选出最快的量化方案。选型条件不只看速度,还包括输出相对基准模型发生了多大变化。它被设计为可以调节质量容忍阈值,由用户决定能接受多大程度的输出差异。项目使用 Rust 编写,采用 MIT 许可证。
不过,文档中的测量数值是相对于普通英文测试语句得出的。README 建议在代码或其他语言很重要的任务中指定自己的语句。公开的测量数值和示例是仓库作者给出的结果,并非独立验证。因此,选型结果更适合看作在相应语句和 GPU 条件下筛选候选的参考值,而不是适用于所有任务的质量保证。