thc1006/qwen3.8-speculative-decoding-rtx3090

thc1006/qwen3.8-speculative-decoding-rtx3090 は、RTX 3090 1 台で Qwen3.8-27B の投機的デコーディング性能と出力差分を事前登録して比較した研究リポジトリである。

GitHub の説明: Preregistered, DOI-archived llama.cpp study: Qwen3.8-27B on one RTX 3090 (sm_86). draft-mtp at --spec-draft-n-max 2 is +59.8% [+57.0, +62.8] server-reported decode over 25 purposive prompts; draft-dflash (PR #27342) +51.9%, not separated from it. Decode energy -37.1%, uncalibrated. 23-25 of 25 prompts diverge from serial greedy at 1600 tokens.

スター

★ 3

フォーク

0

言語

Python

ライセンス

MIT

最新リリース

v1.0.4