luce-org/lucebox リポジトリに2026年11月6日、コミット f3cc3ec9 が入り込んだ。タイトルは perf(qwen4exp): fewer target launches in split decode(#937) で、2枚のGPUに分けてデコードするQwen系のパスにおいて、対象（target）GPUが層ごとに起動していたカーネル起動回数を削減するパフォーマンス作業である。変更は18ファイル、993行の追加と61行の削除という規模だ。
luceboxは、異種ハードウェアとコンシューマー向けGPUでLLMの投機的推論（speculative inference）を実行するサーバーである。まず短いドラフトを生成し、より大きなモデルがその結果を検証するという方式で、性能の異なるデバイス들을1つのグラフに 함께使うことがこのプロジェクトの方向性である。このコミットの中心は、1層のルーティングされたexpertの合計を次の層で遅れて合流させる機能にある。対象GPUは次の層のAttentionとルーターを、expert GPUはルーティングされたexpert計算を実行し、両者を重ねて走らせる。従来は2枚のカードが交互に回り、デコード時間の約3分の1ずつを空回りさせていた、と説明には付記されている。ただしこの経路はモデルの算術を変えるため既定ではオフであり、LUCE_QWEN4EXP_LATE_EXPERTS=all または <a>-<b> と明示的に有効化する必要がある。
CUDA・HIPバックエンド側の融合も 같이増えている。ルーターのGET_ROWS・SUM_ROWS・CLAMP・DIVを1回の実行にまとめ、共有expertのゲートsigmoidと乗算をMoE結合カーネルに折り込み、q8_1量子化行を次のmatmulが直接読むようにして、別の量子化実行を不要にした。コミットメッセージは、デコードプロファイル基準で対象GPUの層あたりのカーネル数が45.4から約36へ減少し、late-expert分割ではデコードが1.5~2.5%速くなると記している。AMD RDNA4（gfx1151）には短い行のQ8_0 MMVQカーネルが追加され、1~8列の区間では1.5~3倍速いとし、greedyデコーディングはGPU上でargmaxを計算し、ロジット行全体ではなくトークンIDのみを読むように変更された。
これらの数値はいずれもコミットメッセージが示した値であり、独立した測定ではない。late-expert経路は算術を変えるため、オンしたままにすると既存の出力と異なることがあり、融合も依然としてオン・オフのフラグに残されている。その代わり、実際に融合が効いているか、そしてargmaxの同点時の規則を確認するtest_qn_split_fusionsテストが新たに追加され、CIに取り込まれた。ハードウェアごとに手で詰め込んだ最適化をコードとテストとして残したコミットと読むのが適切であり、デフォルト設定での性能がどれだけ変わるかはいまだ判断が早い。