github.devotd.
发布推理与服务

niko1221/strata v0.1.45 — Qwen3.6 图像输入与并发请求

niko1221/strata v0.1.45 支持 Qwen3.6-35B-A3B 的图像输入与最多 8 个并发请求,性能收益会随显存余量而变化。

仓库信息niko1221/strata ↗

Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.

星标
★ 26.7K
复刻
2.8K
语言
C++
许可证
MIT
最新版本
v0.1.45
查看原始来源 ↗在 GitHub 查看 ↗

niko1221/strata v0.1.45 是为 Qwen3.6-35B-A3B 添加图像输入的版本。Strata 是在本地运行模型的推理引擎,本次版本最多可同时处理 8 个请求。图像输入需要 --vision 选项和 0.9GB 的 mmproj 文件。

仓库说明指出,Qwen3.8-Flash-Next 可在消费级硬件上运行,并为 Windows 和 Linux 提供一键安装程序。OpenAI 和 Anthropic API 在 localhost 上提供,图像输入为可选功能。该仓库已获得 26454 个 star。发布说明中以 R9700 32GB 为基准的对比显示,并发请求性能为 llama.cpp 的 1.14~1.61 倍。其中解码速度记录为快 1.42 倍,4K 提示词处理记录为快 1.80 倍。各数值均以相对 llama.cpp 的倍数给出。

但如果所有专家无法全部装入显存,槽位就会侵蚀专家缓存。此时性能收益降至 1.0~1.15 倍,单个请求还会慢 4~11%。发布说明中写道,Qwen3.8-Flash-Next 的响应与 v0.1.44.1 在字节层面完全相同。因此这些性能数值只应在 R9700 32GB 的并发请求条件下解读;当显存余量不足或使用单个请求时,很难期待获得收益。