ranganborah/specdecode

ranganborah/specdecode가 llama.cpp 기반 스펙큘레이티브 디코딩의 원리와 노트북 GPU 실측 결과를 담은 README를 추가했다.

GitHub 설명: Real speculative decoding for LLMs, running live on a laptop GPU. Pairs a small draft model with a larger target via llama.cpp, with a live token visualizer, real benchmarks, and our own fine-tuned draft model.

스타

★ 0

포크

0

언어

TypeScript

라이선스

—