Devotd Github
新发现推理与服务

juraj-jumic/dspark-local-bench — 消费级 GPU 推测解码基准

一个可复现的基准仓库,在消费级显卡上以单用户视角比较 llama.cpp 的推测解码。

仓库信息juraj-jumic/dspark-local-bench ↗

一个可复现的基准仓库,在消费级显卡上以单用户视角比较 llama.cpp 的推测解码。

GitHub 项目说明: Does DSpark speculative decoding help on your GPU, for one user? Reproducible batch-size-1 benchmarks for llama.cpp on consumer GPUs.

星标
★ 0
复刻
0
语言
Python
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

juraj-jumic/dspark-local-bench 是一个可复现的基准仓库,用于比较在消费级显卡上 llama.cpp 的推测解码在单用户环境下会带来怎样的差异。仓库说明以 batch-size 1,即一次处理一个用户这一条件下的测量为目标。README 提供了运行命令,并说明也可以补充其他 GPU 的结果。该项目的重点是在个人用 GPU 上进行比较,而不是多个用户同时接入时的服务器性能。

README 以表格形式给出了在 Radeon RX 7900 GRE 上使用 Qwen3-8B Q8_0 的 Vulkan 与 ROCm 结果。对比项是 DSpark、DFlash 和一个小体积的草稿模型。它把按草稿 token 数与接受阈值划分的结果,以及提示处理开销分开考察,并讨论了输出差异。因此,它并非只是罗列生成速度,而是把会随推测解码方式与设置而变化的部分放在一起比较的资料。仓库语言为 Python,许可证为 MIT。

不过,README 所展示的结果仅限于一块 GPU 和特定的提示配置。仅凭给出的表格,无法判断在其他显卡或不同输入条件下是否也会得到同样的结果。当前这份资料更适合作为在 Radeon RX 7900 GRE 该配置下比较各方式差异的参考。