Devotd Github

yibie/strata-mlx

yibie/strata-mlx は会話パーキング(conversation parking)をデフォルトで有効にし、256 トークン未満のリクエストがスロットを占めないようにした。これにより、別のクライアントのリクエストの後に長いプロンプトを読み直すという既定の動作が変わった。

GitHub の説明: Qwen3.8-Flash-Next on Apple Silicon: an MLX engine that reads Strata's GGUF files and speaks its line protocol (unofficial)

GitHub で見る ↗
スター
★ 97
フォーク
15
言語
Python
ライセンス
MIT

投稿

1
新着

yibie/strata-mlx — 会話パーキングをデフォルト化、短いリクエストはスロットを回避

yibie/strata-mlx は会話パーキング(conversation parking)をデフォルトで有効にし、256 トークン未満のリクエストがスロットを占めないようにした。これにより、別のクライアントのリクエストの後に長いプロンプトを読み直すという既定の動作が変わった。