juraj-jumic/dspark-local-bench

llama.cpp의 추측 디코딩을 소비자용 그래픽카드에서 단일 사용자 기준으로 비교하는 재현형 벤치마크 저장소다.

GitHub 설명: Does DSpark speculative decoding help on your GPU, for one user? Reproducible batch-size-1 benchmarks for llama.cpp on consumer GPUs.

스타

★ 0

포크

0

언어

Python

라이선스

MIT