infernix 是一个在单张 RTX 5090 上运行 Qwen3.8 系列的 C++/CUDA 单 GPU 推理引擎。它也包含通过卸载 expert 来运行的 Qwen3.8-Flash-Next，项目源自 NInfer。2026-11-05 的提交 68cb699 把这里针对 122B 模型提示调用的 CPU 辅助上限从 255 列扩大到 575 列，并改为从 576 列起转交给流式处理。这条路径只在使用 NVFP4 W4A16 expert 银行走同一 CPU 算术路径时才适用。
目的是补上超过 256 列的提示所出现的吞吐量断崖。提交信息记录了修改前 255 列为 279.5 tok/s、256 列为 228.1 tok/s。以同一仓库的提交为基线，在单进程运行 -p 列表、每个 arm 交替重复 4 次、INT8 KV 条件下测得的结果为：提示 128 列 +4.0%、192 列 +14.5%、255 列 +13.1%、256 列 +40.5%、320 列 +33.9%、384 列 +26.0%、448 列 +17.0%、512 列 +9.7%、575 列 +4.2%，并且表示在所有重复中都领先。576 列、768 列、1023 列的流式区间为 -0.2%、-0.1%、-0.1%，基本持平；提交补充说该区间在修改前为 -3.3%、-2.5%、-1.2%。原因是拆分流式通路的那一侧同时承担了辅助调用的链路占用率，因而慢了 1.2~3.3%；这次把该占用率直接断在 0。这只是改变由哪个设备计算 expert 的批次层面的改动，提交中写道在 450 token 的提示下可复现的 expert id 与 42edfebe 相同。上限和占用率爬坡由 ExpertOffload 的 assist_max_columns 和 assist_link_share 决定。
不过依据全部出自该仓库自己的口径。对照对象是同一仓库的上一笔提交，测量条件固定为单进程、4 次重复、INT8 KV。链路占用率的数值（64 列为 77/256、255 列为 104/256、575 列为 149/256）是在 Flash-Next 的 FP4-Local 中用同一 CPU 内核重新测得后搬过来的值，并非在 122B 上重新测得的数值。超过 575 列的区间是流式处理，因此没有改进；这条路径只适用于使用 NVFP4 W4A16 银行的配置，其他 expert 银行仍然停在 255 列。所给资料中没有许可证和 star 数。如果是在 RTX 5090 上以 CPU 卸载方式运行 122B 的环境，值得验证；但在其他条件下应期待什么，目前还为时过早。