Devotd Github
새 소식추론/서빙

alleyxd/quantpicker v0.1.0 — GPU용 GGUF 양자화 실측 선택

alleyxd/quantpicker v0.1.0은 GPU에서 GGUF 양자화 후보의 속도와 품질 손실을 측정해 실행할 후보를 고르는 명령줄 도구다.

저장소 정보alleyxd/quantpicker ↗

alleyxd/quantpicker v0.1.0은 GPU에서 GGUF 양자화 후보의 속도와 품질 손실을 측정해 실행할 후보를 고르는 명령줄 도구다.

GitHub 설명: Measures which GGUF quant of a model to run on your GPU: real speed and quality loss (KL divergence), not estimates.

스타
★ 15
포크
0
언어
Rust
라이선스
MIT
최신 릴리스
v0.1.0
원문 보기 ↗GitHub에서 보기 ↗

alleyxd/quantpicker v0.1.0은 GPU에서 실행할 GGUF 양자화 후보의 속도와 품질 손실을 직접 재어 고르는 명령줄 도구다. 최신 릴리스는 v0.1.0이며, 저장소 README는 이를 추정치가 아닌 사용자 GPU의 측정에 기반한 선택 도구로 소개한다.

이 도구는 llama-bench로 각 후보의 생성·입력 처리 속도를 측정하고, 기준 모델과의 쿨백-라이블러(KL) 발산으로 출력 분포 차이를 비교한다. KL 발산은 두 확률 분포가 얼마나 다른지 나타내는 값이다. 메모리 적합 여부와 허용 품질 손실을 함께 고려해 가장 빠른 양자화를 고르는 방식이다. 속도만이 아니라 기준 모델에 비해 출력이 얼마나 달라지는지도 선택 조건에 포함한다. 품질 허용값을 조절해 어느 정도의 출력 차이를 감수할지 정하도록 설계됐다. 프로젝트는 Rust로 작성됐고 MIT 라이선스를 사용한다.

다만 문서의 측정 수치는 일반 영어 시험 문장에 상대적이다. 코드나 다른 언어가 중요한 작업에는 자체 문장을 지정하라고 README가 안내한다. 공개된 측정 수치와 예시는 저장소 작성자가 제시한 결과이며, 독립 검증은 아니다. 따라서 선택 결과는 모든 작업에 통하는 품질 보증이 아니라, 해당 문장과 GPU 조건에서 후보를 추리는 참고값으로 보는 편이 타당하다.