penta2himajin/qwisp 是在 Apple Silicon 上本地推理 Qwen3.6-35B-A3B 的服务器和 CLI。它把 MoE(混合专家:只激活符合条件的一部分模块以减少计算量的结构)运行在基于 MLX 的 Metal 解码引擎 Seedless 上,请求格式与 OpenAI API 兼容。2026 年 10 月 6 日进入仓库的提交 05e745b 补上了这个兼容性缺口。在流式请求中把 stream_options 的 include_usage 设为 true 之后,如今在发送 [DONE] 之前的最后一个 chunk 中会带上 usage 对象。
此前 usage 信息只存在于非流式响应中,通过流式接收的客户端只能原样收到 completion_tokens=0。因为流式响应是以 SSE(Server-Sent Events,服务器依次发送文本事件的形式)方式返回的。服务器在发送 [DONE] 之前会额外流出一个 choices 为空的 chunk,其中只装载 prompt_tokens、completion_tokens、total_tokens。这些值来自引擎所统计的提示词与生成 token ID 的数量。在同一个提交中,请求结构体里新增了 StreamOptions,此前在 JSON 解码阶段会被当作未知键丢弃的 stream_options 因此得以保留。自测中也新增了确认这一往返的一行。
不过依据仅限于这一个提交。改动只是 swift/Sources/qwisp 下三个文件共 24 行的新增,没有删除。由于用量数字是服务器自身 token 计数的原样输出,并不是与独立计数器核对过的数值。本次记录中未给出 release tag、部署形态或性能测量值,因此与其他客户端的兼容范围和速度影响尚难判断。有一处改进是显而易见的:如果使用符合 OpenAI 规范的流式客户端,使用量统计会从 0 变为实际值,这是确凿的变化。