mattral/flashspec

FlashSpec 0.3.2가 GenerationResult.acceptance_rate를 호출 한 번의 값으로 바꿔 누적 평균 오류를 고치고 버전과 컨테이너 이미지 태그를 갱신했다.

GitHub 설명: Adaptive speculative-decoding inference engine with Triton-optimised verification and online bandit draft selection.

스타

★ 16

포크

0

언어

Python

라이선스

Apache-2.0

최신 릴리스

v0.1.5