penta2himajin/qwisp

面向 Apple Silicon 的本地 MoE 推理服务器 qwisp 变更后，会在流式响应的最后一个 chunk 中携带 usage 信息。

GitHub 项目说明: Fast, optionally-lossless local inference for Qwen3.6-35B-A3B (MoE) on Apple Silicon — OpenAI-compatible server + CLI over a raw-Metal decode engine (Seedless) on MLX.

星标

★ 16

复刻

1

语言

Swift

许可证

Apache-2.0

最新版本

v0.3.11