penta2himajin/qwisp

Apple Silicon向けのローカルMoE推論サーバ qwisp が変更され、ストリーミング応答の最後のチャンクに usage 情報を含めて送るようになりました。

GitHub の説明: Fast, optionally-lossless local inference for Qwen3.6-35B-A3B (MoE) on Apple Silicon — OpenAI-compatible server + CLI over a raw-Metal decode engine (Seedless) on MLX.

スター

★ 16

フォーク

1

言語

Swift

ライセンス

Apache-2.0

最新リリース

v0.3.11