infernix は RTX 5090 1 枚で Qwen3.8 系を動かす C++/CUDA の単一 GPU 推論エンジンである。expert をオフロードして使う Qwen3.8-Flash-Next も含み、NInfer から始まったプロジェクトだ。2026-11-05 のコミット 68cb699 はここで 122B モデルのプロンプト呼び出しに対する CPU アシスト上限を 255 列から 575 列へ広げ、576 列以降はストリーミングに落とすように変えた。NVFP4 W4A16 expert バンクが同じ CPU 算術経路を使う場合にのみ適用される経路である。
目的は 256 列を超えるプロンプトで発生していたスループットの段差を埋めることである。コミットメッセージは変更前の 255 列 279.5 tok/s、256 列 228.1 tok/s を記録する。同じリポジトリのコミットをベースラインに、単一プロセスで -p リストを実行し、arm ごとに 4 回交互反復、INT8 KV 条件で測った数値は、プロンプト 128 列 +4.0%、192 列 +14.5%、255 列 +13.1%、256 列 +40.5%、320 列 +33.9%、384 列 +26.0%、448 列 +17.0%、512 列 +9.7%、575 列 +4.2% で、すべての反復で先行したと述べる。576 列・768 列・1023 列のストリーミング区間は -0.2%、-0.1%、-0.1% とほぼ同率であり、コミットはこの区間が修正前には -3.3%、-2.5%、-1.2% だったと付け加える。原因は、ストリーミングパスを分けた側のアシスト呼び出しがリンク占有率も一并して負い、1.2~3.3% 遅れていたことで、今回はその占有率を 0 で断った。どのデバイスが expert を計算するかが変わるだけのバッチ上の変更であり、コミットは 450 トークンのプロンプトで再現可能な expert id が 42edfebe と同じだったと記す。上限と占有率ランプは ExpertOffload の assist_max_columns と assist_link_share が決める。
ただし根拠はすべてリポジトリ自身の基準で出されたものである。比較対象は同じリポジトリの直前のコミットで、測定条件は単一プロセス、4 回反復、INT8 KV に固定されている。リンク占有率の値（64 列で 77/256、255 列で 104/256、575 列で 149/256）は Flash-Next の FP4-Local で同じ CPU カーネルを使って測り直して移した値であって、122B で再測定した数値ではない。575 列を超える区間はストリーミングなので改善はなく、この経路は NVFP4 W4A16 バンクを使う構成にのみ該当し、他の expert バンクは依然として 255 列で止まる。ライセンスと star 数は与えられた資料にない。RTX 5090 で 122B を CPU オフロードで動かす環境なら確認する価値はあるが、それ以外の条件で何を期待してよいかはまだ判断が早い。