新发现
ranganborah/specdecode — 新增用于笔记本 GPU 推测性解码的 README
ranganborah/specdecode 新增了一份 README，介绍了基于 llama.cpp 的推测性解码原理以及在笔记本 GPU 上的实测结果。
ranganborah/specdecode
ranganborah/specdecode 新增了一份 README，介绍了基于 llama.cpp 的推测性解码原理以及在笔记本 GPU 上的实测结果。
GitHub 项目说明: Real speculative decoding for LLMs, running live on a laptop GPU. Pairs a small draft model with a larger target via llama.cpp, with a live token visualizer, real benchmarks, and our own fine-tuned draft model.
在 GitHub 查看 ↗- 星标
- ★ 0
- 复刻
- 0
- 语言
- TypeScript
- 许可证
- —
文章
1没有符合条件的动态。