lightseekorg/tokenspeed

TokenSpeed 引擎新增了统计已提交令牌中累积推理令牌数量的功能，并将其以 `reasoning_tokens` 输出到输出批次和客户端，该功能由 2026 年 11 月 8 日的提交引入。

GitHub 项目说明: TokenSpeed is a speed-of-light LLM inference engine.

星标

★ 2.7K

复刻

351

语言

Python

许可证

MIT

最新版本

v0.1.1