Devotd Github
新着推論・サービング

lightseekorg/tokenspeed — コミット #3182、推論トークン使用量の集計を追加

TokenSpeed エンジンが、コミットされたトークンのうち累積推論トークン数を数え、出力バッチとクライアントに `reasoning_tokens` として出力する機能を、2026年11月8日のコミットで追加した。

リポジトリ情報lightseekorg/tokenspeed ↗

TokenSpeed エンジンが、コミットされたトークンのうち累積推論トークン数を数え、出力バッチとクライアントに `reasoning_tokens` として出力する機能を、2026年11月8日のコミットで追加した。

GitHub の説明: TokenSpeed is a speed-of-light LLM inference engine.

スター
★ 2.7K
フォーク
351
言語
Python
ライセンス
MIT
最新リリース
v0.1.1
原文を見る ↗GitHub で見る ↗

lightseekorg/tokenspeed は、2026年11月8日のコミット `7b21034`(PR #3182、feat(engine): report reasoning token usage)において推論トークン使用量の集計機能を追加した。エンジンは推論モデルが思考に費やしたトークン(reasoning token)の累積個数を直接数え、出力バッチに `reasoning_tokens` フィールドとして付与し、Rust クライアントや Python ランタイムまでそのまま引き渡す。出典: https://github.com/lightseekorg/tokenspeed/commit/7b21034

数え方は具体的である。エンジンはコミットされたトークン ID からブロックマーカーを差し引いて累積推論トークン数を算出し、DeepSeek V4.1 は、ツールブロック開始マーカーを閉じる表示がない暗黙的な境界として扱う。集計は文法制約(grammar constraint)と独立であるため、`--grammar-backend none` でも値が出て、既知のブロックマーカーがないパーサーは 0 を報告する。PD(Prefill/Decode)のブートストラップトークンも含まれる。新しいフィールドは出力バッチの後端(wire tail)に付与されるため、以前の producer が生成した出力は空のリストとして読み込まれる。

ただし、この数字が外部ゲートウェイの応答まで拡張されるわけではない。今回の変更では SMG ゲートウェイと Dynamo の応答マッピングは意図的にそのまま残され、検証は Rust と Python のテスト通過件数のみを示し、性能指標は示していない。ブロックマーカーを知っているパーサーを用いるリクエストでのみ意味のある値が得られるという限界もそのまま残る。推論コストを計測しようとするなら、エンジン出力パスを直接見るのが適切であり、ゲートウェイ経由で集計値を期待するのは時期尚早である。