niko1221/strata v0.1.45 は Qwen3.6-35B-A3B に画像入力を追加したリリースだ。Strata はモデルをローカルで実行する推論エンジンで、このバージョンでは最大 8 件のリクエストを同時に処理する。画像入力には --vision オプションと 0.9GB の mmproj ファイルが必要となる。
リポジトリの説明では、Qwen3.8-Flash-Next はコンシューマー向けハードウェアで動作し、Windows と Linux にワンクリックインストーラを提供するとされている。OpenAI と Anthropic の API は localhost で提供され、画像入力はオプション機能だ。リポジトリは 26454 件のスターを記録している。リリースノートの R9700 32GB を基準とした比較では、同時リクエスト時の性能は llama.cpp の 1.14〜1.61 倍だ。デコードは 1.42 倍、4K プロンプト処理は 1.80 倍速いと記録されている。いずれの数値も llama.cpp に対する倍率で示されている。
ただし、すべてのエキスパートを VRAM に収められない場合、スロットがエキスパートキャッシュを侵食する。この場合は性能上の利得が 1.0〜1.15 倍に縮み、単一のリクエストは 4〜11% 遅くなる。リリースノートには、Qwen3.8-Flash-Next の応答は v0.1.44.1 とバイト単位で同一だと記載されている。したがって、これらの性能数値は R9700 32GB における同時リクエスト条件に限定して読むべきであり、VRAM に余裕がない場合や単一のリクエストを使う場合には利得を期待しにくい。