valeriodolci/capy-flash は、16GB のコンシューマー GPU 2 枚で Qwen3.8-Flash-Next（MoE、NVFP4）と Qwen3.8-27B を動かすプロジェクトです。GitHub で公開された v0.6.0 では、長い対話におけるグラフィックスメモリの使用量とエキスパートモジュールの配置が改善されました。短い入力の処理と選択可能な画像理解機能も追加されています。これらはリポジトリの新しいバージョンで変更された内容です。
このプロジェクトは 2 枚の GPU を同時に使うテンソル並列構成と、エキスパートモジュールを CPU にオフロードする方法を説明しています。リポジトリの説明に記載されているモデルは Qwen3.8-Flash-Next（MoE、NVFP4）と Qwen3.8-27B であり、このプロジェクトはかつて ninfer-tp2 という名前でした。今回のリリース概要では、長い対話のグラフィックスメモリ使用量とエキスパートモジュール配置の改善を主要な変更として挙げ、短い入力の処理と選択可能な画像理解を追加機能として示しています。実装の詳細や機能ごとの対応範囲は、与えられた情報には記載されていません。
新しい処理方式の速度比較も公開されていますが、その数値はプロジェクト側の自主試験の結果であり、独立に検証されたものではありません。したがって、他の環境でも同じ速度が得られる根拠として見ることはできません。リポジトリの説明が示している構成は 16GB のコンシューマー GPU 2 枚であり、別の GPU 構成での結果は与えられた情報にありません。今回の変更の意味は、長い対話の処理とエキスパート配置、短い入力および選択可能な画像理解の機能が追加されたという点にあります。速度比較については、独立検証が得られるまではプロジェクト側の結果として読むべきです。