Devotd Github
新发现推理与服务

lightseekorg/tokenspeed — 提交 #3182,新增推理令牌用量统计

TokenSpeed 引擎新增了统计已提交令牌中累积推理令牌数量的功能,并将其以 `reasoning_tokens` 输出到输出批次和客户端,该功能由 2026 年 11 月 8 日的提交引入。

仓库信息lightseekorg/tokenspeed ↗

TokenSpeed 引擎新增了统计已提交令牌中累积推理令牌数量的功能,并将其以 `reasoning_tokens` 输出到输出批次和客户端,该功能由 2026 年 11 月 8 日的提交引入。

GitHub 项目说明: TokenSpeed is a speed-of-light LLM inference engine.

星标
★ 2.7K
复刻
351
语言
Python
许可证
MIT
最新版本
v0.1.1
查看原始来源 ↗在 GitHub 查看 ↗

lightseekorg/tokenspeed 在 2026 年 11 月 8 日的提交 `7b21034`(PR #3182,feat(engine): report reasoning token usage)中新增了推理令牌用量统计功能。引擎直接统计推理模型用于思考的令牌(reasoning token)累计数量,将其作为 `reasoning_tokens` 字段附加到输出批次,并原样传递到 Rust 客户端和 Python 运行时。来源:https://github.com/lightseekorg/tokenspeed/commit/7b21034

计数方式是明确的。引擎从已提交的令牌 ID 中减去区块标记,计算出累积推理令牌数量;DeepSeek V4.1 被当作一种隐式边界处理,即没有用于关闭工具区块起始标记的结束标记。该统计与语法约束(grammar constraint)相互独立,因此即使在 `--grammar-backend none` 下也会得到数值,而不知道任何区块标记的解析器则报告 0。PD(Prefill/Decode)自举令牌也包含在内。新字段附加在输出批次末尾(wire tail),因此由早先的 producer 生成的输出会被读取为空列表。

不过,这一数字并未扩展到外部网关响应。本次变更有意保持 SMG 网关和 Dynamo 的响应映射不变,验证只说明了 Rust 和 Python 测试的通过数量,并未给出性能数值。仍然存在的限制是:只有在使用了知道区块标记的解析器的请求中,才会出现有意义的值。如果要计量推理成本,直接查看引擎的输出路径才是正确做法,而通过网关期待汇总值还为时尚早。