juraj-jumic/dspark-local-bench

一个可复现的基准仓库，在消费级显卡上以单用户视角比较 llama.cpp 的推测解码。

GitHub 项目说明: Does DSpark speculative decoding help on your GPU, for one user? Reproducible batch-size-1 benchmarks for llama.cpp on consumer GPUs.

星标

★ 0

复刻

0

语言

Python

许可证

MIT