juraj-jumic/dspark-local-bench 是一个可复现的基准仓库,用于比较在消费级显卡上 llama.cpp 的推测解码在单用户环境下会带来怎样的差异。仓库说明以 batch-size 1,即一次处理一个用户这一条件下的测量为目标。README 提供了运行命令,并说明也可以补充其他 GPU 的结果。该项目的重点是在个人用 GPU 上进行比较,而不是多个用户同时接入时的服务器性能。
README 以表格形式给出了在 Radeon RX 7900 GRE 上使用 Qwen3-8B Q8_0 的 Vulkan 与 ROCm 结果。对比项是 DSpark、DFlash 和一个小体积的草稿模型。它把按草稿 token 数与接受阈值划分的结果,以及提示处理开销分开考察,并讨论了输出差异。因此,它并非只是罗列生成速度,而是把会随推测解码方式与设置而变化的部分放在一起比较的资料。仓库语言为 Python,许可证为 MIT。
不过,README 所展示的结果仅限于一块 GPU 和特定的提示配置。仅凭给出的表格,无法判断在其他显卡或不同输入条件下是否也会得到同样的结果。当前这份资料更适合作为在 Radeon RX 7900 GRE 该配置下比较各方式差异的参考。