Devotd Github
新发现推理与服务

alleyxd/quantpicker v0.1.0 — GPU 上 GGUF 量化实测选型

alleyxd/quantpicker v0.1.0 是一个命令行工具,在 GPU 上测量 GGUF 量化候选的速度与质量损失,以挑选要运行的候选。

仓库信息alleyxd/quantpicker ↗

alleyxd/quantpicker v0.1.0 是一个命令行工具,在 GPU 上测量 GGUF 量化候选的速度与质量损失,以挑选要运行的候选。

GitHub 项目说明: Measures which GGUF quant of a model to run on your GPU: real speed and quality loss (KL divergence), not estimates.

星标
★ 15
复刻
0
语言
Rust
许可证
MIT
最新版本
v0.1.0
查看原始来源 ↗在 GitHub 查看 ↗

alleyxd/quantpicker v0.1.0 是一个命令行工具,直接在 GPU 上测量待运行的 GGUF 量化候选的速度与质量损失,以便从中挑选。最新版本为 v0.1.0,仓库 README 将其介绍为基于用户自己 GPU 实测数据(而非估算值)的选型工具。

该工具使用 llama-bench 测量每个候选的生成与输入处理速度,并通过与基准模型的 KL 散度(Kullback–Leibler)比较输出分布差异。KL 散度表示两个概率分布的差异程度。它在兼顾显存是否装得下以及可接受的质量损失的前提下,选出最快的量化方案。选型条件不只看速度,还包括输出相对基准模型发生了多大变化。它被设计为可以调节质量容忍阈值,由用户决定能接受多大程度的输出差异。项目使用 Rust 编写,采用 MIT 许可证。

不过,文档中的测量数值是相对于普通英文测试语句得出的。README 建议在代码或其他语言很重要的任务中指定自己的语句。公开的测量数值和示例是仓库作者给出的结果,并非独立验证。因此,选型结果更适合看作在相应语句和 GPU 条件下筛选候选的参考值,而不是适用于所有任务的质量保证。