juraj-jumic/dspark-local-bench

llama.cpp の投機的デコードをコンシューマー向けグラフィックスカード上で単一ユーザー 기준으로比較する再現可能なベンチマークリポジトリ。

GitHub の説明: Does DSpark speculative decoding help on your GPU, for one user? Reproducible batch-size-1 benchmarks for llama.cpp on consumer GPUs.

スター

★ 0

フォーク

0

言語

Python

ライセンス

MIT