Devotd Github
新着推論・サービング

thc1006/qwen3.8-speculative-decoding-rtx3090 — RTX 3090 投機的デコーディング実験

thc1006/qwen3.8-speculative-decoding-rtx3090 は、RTX 3090 1 台で Qwen3.8-27B の投機的デコーディング性能と出力差分を事前登録して比較した研究リポジトリである。

リポジトリ情報thc1006/qwen3.8-speculative-decoding-rtx3090 ↗

thc1006/qwen3.8-speculative-decoding-rtx3090 は、RTX 3090 1 台で Qwen3.8-27B の投機的デコーディング性能と出力差分を事前登録して比較した研究リポジトリである。

GitHub の説明: Preregistered, DOI-archived llama.cpp study: Qwen3.8-27B on one RTX 3090 (sm_86). draft-mtp at --spec-draft-n-max 2 is +59.8% [+57.0, +62.8] server-reported decode over 25 purposive prompts; draft-dflash (PR #27342) +51.9%, not separated from it. Decode energy -37.1%, uncalibrated. 23-25 of 25 prompts diverge from serial greedy at 1600 tokens.

スター
★ 3
フォーク
0
言語
Python
ライセンス
MIT
最新リリース
v1.0.4
原文を見る ↗GitHub で見る ↗

thc1006/qwen3.8-speculative-decoding-rtx3090 は RTX 3090 1 台で Qwen3.8-27B の投機的デコーディングを比較した事前登録済みの実験リポジトリである。リポジトリは llama.cpp ベースの実験を扱い、組み込みのドラフト方式である draft-mtp を --spec-draft-n-max 2 に設定した場合に、サーバーが報告したデコーディングスループットが 25 件の入力で 59.8% 高かったと記録している。名義 95% 区間は [+57.0, +62.8] である。研究は DOI で保管されており、方法と分析・再現スクリプト、検証手順も公開している。

投機的デコーディングは、ドラフトが次のトークンを提案し、本モデルがそれを検証する生成方式である。リポジトリは draft-dflash(PR #27342)の結果も記録しており、スループットは 51.9% 高かったものの、draft-mtp との結果は分離されなかったと説明している。デコーディングエネルギーは 37.1% 減少したと報告されているが、測定値は外部計器による校正は行われていない。したがって、速度とエネルギーの数値は本実験のサーバー報告値であり、一般的な環境での性能を保証するものではない。

入力は目的で構成した 25 件のプロンプトであり、実際のリクエスト全体を代表するものではない。1600 トークンの制限下では、25 件のうち 23~25 件の出力はデフォルトの逐次貪欲デコーディング(serial greedy)と異なっていた。この結果は、速度の向上だけでは出力の等価性を判断できないことを示している。事前登録と再現資料はレビューに役立つが、性能に関する主張は、限定された入力と未校正のエネルギー測定の範囲内で解釈する必要がある。