lightseekorg/tokenspeed

TokenSpeed 엔진이 커밋된 토큰에서 누적 추론 토큰 수를 세어 출력 배치와 클라이언트에 `reasoning_tokens`로 내보내는 기능을 2026년 11월 8일 커밋으로 추가했다.

GitHub 설명: TokenSpeed is a speed-of-light LLM inference engine.

스타

★ 2.7K

포크

351

언어

Python

라이선스

MIT

최신 릴리스

v0.1.1