alleyxd/quantpicker

alleyxd/quantpicker v0.1.0 是一个命令行工具，在 GPU 上测量 GGUF 量化候选的速度与质量损失，以挑选要运行的候选。

GitHub 项目说明: Measures which GGUF quant of a model to run on your GPU: real speed and quality loss (KL divergence), not estimates.

星标

★ 15

复刻

0

语言

Rust

许可证

MIT

最新版本

v0.1.0