Devotd Github

mattral/flashspec

FlashSpec 0.3.2 将 GenerationResult.acceptance_rate 改为单次调用的数值,修正了累计平均的错误,并更新了版本号与容器镜像标签。

GitHub 项目说明: Adaptive speculative-decoding inference engine with Triton-optimised verification and online bandit draft selection.

在 GitHub 查看 ↗
星标
★ 16
复刻
0
语言
Python
许可证
Apache-2.0
最新版本
v0.1.5

文章

1