alleyxd/quantpicker

alleyxd/quantpicker v0.1.0 は、GPU 上で GGUF 量子化候補の速度と品質劣化を測定し、どの候補を実行するかを選ぶコマンドラインツールです。

GitHub の説明: Measures which GGUF quant of a model to run on your GPU: real speed and quality loss (KL divergence), not estimates.

スター

★ 15

フォーク

0

言語

Rust

ライセンス

MIT

最新リリース

v0.1.0