ranganborah/specdecode

ranganborah/specdecode が、llama.cpp ベースの投機的デコードの仕組みとノートブック GPU での実測結果をまとめた README を追加した。

GitHub の説明: Real speculative decoding for LLMs, running live on a laptop GPU. Pairs a small draft model with a larger target via llama.cpp, with a live token visualizer, real benchmarks, and our own fine-tuned draft model.

スター

★ 0

フォーク

0

言語

TypeScript

ライセンス

—