infernix는 RTX 5090 한 장에서 Qwen3.8 계열을 돌리는 C++/CUDA 단일 GPU 추론 엔진이다. expert를 오프로드해 쓰는 Qwen3.8-Flash-Next도 포함하며, NInfer에서 출발한 프로젝트다. 2026-11-05 커밋 68cb699는 여기서 122B 모델의 프롬프트 호출에 대한 CPU 보조 한도를 255열에서 575열로 넓히고, 576열부터는 스트리밍으로 넘기도록 바꿨다. NVFP4 W4A16 expert 뱅크가 같은 CPU 산술 경로를 쓰는 경우에만 적용되는 경로다.
목적은 256열을 넘는 프롬프트에서 생기던 처리량 단절을 메우는 것이다. 커밋 메시지는 변경 전 255열 279.5 tok/s, 256열 228.1 tok/s를 기록한다. 같은 저장소 커밋을 베이스라인으로, 한 프로세스에서 -p 리스트 실행, arm별 4회 교대 반복, INT8 KV 조건으로 잰 수치가 프롬프트 128열 +4.0%, 192열 +14.5%, 255열 +13.1%, 256열 +40.5%, 320열 +33.9%, 384열 +26.0%, 448열 +17.0%, 512열 +9.7%, 575열 +4.2%이며 모든 반복에서 앞섰다고 밝힌다. 576열·768열·1023열 스트리밍 구간은 -0.2%, -0.1%, -0.1%로 사실상 동률이고, 커밋은 이 구간이 수정 전에는 -3.3%, -2.5%, -1.2%였었다고 덧붙인다. 원인은 스트리밍 패스를 쪼갠 쪽이 보조 호출의 링크 점유율을 함께 물려받아 1.2~3.3% 느려졌던 것으로, 이번에 그 점유율을 0으로 끊었다. 어느 디바이스가 expert를 계산했는지만 달라지는 배치상의 변경이며, 커밋은 450토큰 프롬프트에서 재현 가능한 expert id가 42edfebe와 같았다고 적는다. 한도와 점유율 램프는 ExpertOffload의 assist_max_columns와 assist_link_share가 정한다.
다만 근거는 모두 저장소가 자기 기준으로 낸 것이다. 비교 대상은 같은 저장소의 직전 커밋이고, 측정 조건은 한 프로세스, 4회 반복, INT8 KV로 고정돼 있다. 링크 점유율 값(64열에서 77/256, 255열에서 104/256, 575열에서 149/256)은 Flash-Next의 FP4-Local에서 같은 CPU 커널로 재서 옮긴 값이지 122B에서 다시 잰 수치는 아니다. 575열을 넘는 구간은 스트리밍이라 개선이 없고, 이 경로는 NVFP4 W4A16 뱅크를 쓰는 구성에만 해당하며 다른 expert 뱅크는 여전히 255열에서 멈춘다. 라이선스와 별 수는 주어진 자료에 없다. RTX 5090에서 122B를 CPU 오프로드로 돌리는 환경이라면 확인할 만하지만, 그 밖의 조건에서 무엇을 기대할지는 아직 판단하기 이르다.