ranganborah/specdecode는 작은 draft 모델이 제안한 토큰을 큰 target 모델이 한 번의 배치 연산으로 함께 검증해 추론 비용을 줄이는 스펙큘레이티브 디코딩(speculative decoding)을 노트북 GPU에서 실제로 돌려 보이는 프로젝트다. 최신 커밋 8d8626a(2026-10-13)는 README.md 87줄을 새로 추가해, 동작 원리, 기능 목록, 실측 수치, 빠른 시작 방법을 처음으로 문서화했다. 커밋 원문은 https://github.com/RanganBorah/SpecDecode/commit/8d8626ab1ddb2e22303b34e1a5cac0472cd9faa5 에 있다.
방식의 뼈대는 Leviathan과 Chen의 2023년 논문 두 편을 따르며, README는 출력 확률 분포가 target 모델만 쓰는 경우와 같다고 설명한다. 추론은 llama.cpp의 --model-draft 경로로 로컬에서 돌아가고, 화면에는 토큰이 제안·검증·수락·거부·교정으로 넘어가는 실시간 시각화와 함께 수락률, 초당 토큰 수, target 호출 횟수, 지연 시간이 표시된다. 직접 만든 draft 모델 CustomModel 5.1은 Llama-3.2-1B-Instruct를 QLoRA로 두 차례 미세조정한 것이고, .gguf 파일을 models/ 폴더에 넣으면 코드 수정 없이 목록에서 고를 수 있다. VIT Vellore의 GDG on Campus 48시간 해커톤 DevJams'26 작품이며, 스택은 React 19, TypeScript, Node/Express와 SSE 스트리밍, 학습 쪽 PyTorch·PEFT·TRL이다.
다만 README가 스스로 밝힌 수치는 이 기법이 해당 환경에서 아직 이득이 아니라는 쪽이다. RTX 3050 Ti 노트북(4GB VRAM)에서 target을 Llama-3.2-3B-Instruct, draft를 Llama-3.2-1B-Instruct로 두고 둘 다 Q4_K_M으로 돌리니 target 모델의 순방향 계산 횟수는 99회에서 27회로 줄고 수락률은 75.8%였지만, 벽시계 속도는 초당 48토큰에서 22.7토큰(0.47배)으로 느려졌다. 3B급 target은 이미 빠르고 4GB GPU에서 두 모델을 함께 띄우는 오버헤드가 더 컸기 때문이라는 설명이 붙는다. README는 이 기법이 target이 병목인 데이터센터 GPU의 대형 모델에서 값을 얻는다고 적으며, 저장소에는 라이선스와 별점 정보가 기재되어 있지 않다. 같은 조건은 npm run benchmarks로 직접 재현할 수 있고, 실행에는 Node 20 이상, NVIDIA GPU, CUDA 빌드 llama.cpp가 필요하다.