thc1006/qwen3.8-speculative-decoding-rtx3090

thc1006/qwen3.8-speculative-decoding-rtx3090는 Qwen3.8-27B의 추측 디코딩 성능과 출력 차이를 RTX 3090 한 대에서 사전등록해 비교한 연구 저장소다.

GitHub 설명: Preregistered, DOI-archived llama.cpp study: Qwen3.8-27B on one RTX 3090 (sm_86). draft-mtp at --spec-draft-n-max 2 is +59.8% [+57.0, +62.8] server-reported decode over 25 purposive prompts; draft-dflash (PR #27342) +51.9%, not separated from it. Decode energy -37.1%, uncalibrated. 23-25 of 25 prompts diverge from serial greedy at 1600 tokens.

스타

★ 3

포크

0

언어

Python

라이선스

MIT

최신 릴리스

v1.0.4