Devotd Github
새 소식추론/서빙

thc1006/qwen3.8-speculative-decoding-rtx3090 — RTX 3090 추측 디코딩 실험

thc1006/qwen3.8-speculative-decoding-rtx3090는 Qwen3.8-27B의 추측 디코딩 성능과 출력 차이를 RTX 3090 한 대에서 사전등록해 비교한 연구 저장소다.

저장소 정보thc1006/qwen3.8-speculative-decoding-rtx3090 ↗

thc1006/qwen3.8-speculative-decoding-rtx3090는 Qwen3.8-27B의 추측 디코딩 성능과 출력 차이를 RTX 3090 한 대에서 사전등록해 비교한 연구 저장소다.

GitHub 설명: Preregistered, DOI-archived llama.cpp study: Qwen3.8-27B on one RTX 3090 (sm_86). draft-mtp at --spec-draft-n-max 2 is +59.8% [+57.0, +62.8] server-reported decode over 25 purposive prompts; draft-dflash (PR #27342) +51.9%, not separated from it. Decode energy -37.1%, uncalibrated. 23-25 of 25 prompts diverge from serial greedy at 1600 tokens.

스타
★ 3
포크
0
언어
Python
라이선스
MIT
최신 릴리스
v1.0.4
원문 보기 ↗GitHub에서 보기 ↗

thc1006/qwen3.8-speculative-decoding-rtx3090는 RTX 3090 한 대에서 Qwen3.8-27B의 추측 디코딩을 비교한 사전등록 실험 저장소다. 저장소는 llama.cpp 기반 실험을 다루며, 내장 초안 방식인 draft-mtp를 --spec-draft-n-max 2로 설정했을 때 서버가 보고한 디코딩 처리량이 25개 입력에서 59.8% 높았다고 기록한다. 명목 95% 구간은 [+57.0, +62.8]이다. 연구는 DOI로 보관됐으며 방법과 분석·재현 스크립트, 검증 절차도 공개한다.

추측 디코딩은 초안이 다음 토큰을 제안하고 본 모델이 이를 확인하는 생성 방식이다. 저장소는 draft-dflash(PR #27342) 결과도 기록하며, 처리량은 51.9% 높았지만 draft-mtp와 결과가 분리되지 않았다고 밝힌다. 디코딩 에너지는 37.1% 감소한 것으로 보고됐으나, 측정값은 외부 계측기로 보정되지 않았다. 따라서 속도와 에너지 수치는 이 실험의 서버 보고 결과이지 일반 환경의 성능을 보장하지 않는다.

입력은 목적에 따라 구성한 25개 프롬프트라 실제 요청 전체를 대표하지 않는다. 1600토큰 제한에서는 25개 중 23~25개 입력의 출력이 기본 순차 탐욕 디코딩(serial greedy)과 달랐다. 이 결과는 속도 향상만으로 출력 동등성을 판단할 수 없음을 보여준다. 사전등록과 재현 자료는 검토에 도움이 되지만, 성능 주장은 제한된 입력과 보정되지 않은 에너지 측정 범위 안에서 해석해야 한다.