mattral/flashspec

FlashSpec 0.3.2 は GenerationResult.acceptance_rate を呼び出し 1 回分の値に変更し、累積平均の誤りを修正した。バージョンとコンテナイメージタグも更新された。

GitHub の説明: Adaptive speculative-decoding inference engine with Triton-optimised verification and online bandit draft selection.

スター

★ 16

フォーク

0

言語

Python

ライセンス

Apache-2.0

最新リリース

v0.1.5