valeriodolci/capy-flash は、125B の Qwen3.8-Flash-Next を NVFP4 に量子化し、16GB のコンシューマー向け GPU 2 枚で実行する C++ エンジンである。最新リリースは v0.5.4 で、公開されている情報にはこのバージョンの変更履歴がない。リポジトリは以前に ninfer-tp2 という名称を使用していた。
MoE は、複数のエキスパートのうち一部だけが計算に参加するモデル構造である。capy-flash はテンソル並列で計算を 2 枚の GPU に分担させ、エキスパートを CPU にオフロードする。README では、RTX 5070 Ti 16GB 2 枚、Ryzen 9 9900X、96GB DDR5 の構成で Strata 0.1.44.1 と比較した独自再現ベンチマークを公開している。15k プロンプトのプリフィルでは、capy-flash の NVFP4 の結果は 3,778 tok/s で、Strata NVFP4 の 2,703 tok/s を上回り、最初トークンまでの時間も 1.82 秒で 2.42 秒より短い。一方、Strata の 3-bit IQ3_S は 55k プロンプトのプリフィルで 4,037 tok/s、生成で 124.1 tok/s を記録した。著者らは、コーディング課題で capy-flash が 23% 多くのトークンを生成した一方、20 回の実行時間は 4.28 時間で 4.32 時間だったと説明している。また、NVIDIA 公式の NVFP4 expert を再量子化なしで使用し、多段階コーディング課題 20 件の 1124 回のツール呼び出しのうち malformed は 0 件だったと報告している。
この比較は、特定のハードウェアとプロンプト条件で得られた独自再現ベンチマークである。NVFP4 構成が一部の指標で先行する一方、Strata の IQ3_S が先行する指標もあるため、この数値だけでは総合的な性能の優位を述べにくい。