niko1221/strata v0.1.45 是为 Qwen3.6-35B-A3B 添加图像输入的版本。Strata 是在本地运行模型的推理引擎,本次版本最多可同时处理 8 个请求。图像输入需要 --vision 选项和 0.9GB 的 mmproj 文件。
仓库说明指出,Qwen3.8-Flash-Next 可在消费级硬件上运行,并为 Windows 和 Linux 提供一键安装程序。OpenAI 和 Anthropic API 在 localhost 上提供,图像输入为可选功能。该仓库已获得 26454 个 star。发布说明中以 R9700 32GB 为基准的对比显示,并发请求性能为 llama.cpp 的 1.14~1.61 倍。其中解码速度记录为快 1.42 倍,4K 提示词处理记录为快 1.80 倍。各数值均以相对 llama.cpp 的倍数给出。
但如果所有专家无法全部装入显存,槽位就会侵蚀专家缓存。此时性能收益降至 1.0~1.15 倍,单个请求还会慢 4~11%。发布说明中写道,Qwen3.8-Flash-Next 的响应与 v0.1.44.1 在字节层面完全相同。因此这些性能数值只应在 R9700 32GB 的并发请求条件下解读;当显存余量不足或使用单个请求时,很难期待获得收益。