valeriodolci/capy-flash는 125B Qwen3.8-Flash-Next를 NVFP4 양자화해 16GB 소비자용 GPU 두 장에서 실행하는 C++ 엔진이다. 최신 릴리스는 v0.5.4이며, 제공된 정보에는 이 버전의 변경 내역이 없다. 저장소는 이전에 ninfer-tp2라는 이름을 사용했다.
MoE는 여러 전문가 중 일부만 계산에 참여하는 모델 구조다. capy-flash는 텐서 병렬로 계산을 두 GPU에 나누고 전문가를 CPU로 오프로드한다. README는 RTX 5070 Ti 16GB 두 장, Ryzen 9 9900X, 96GB DDR5 구성에서 Strata 0.1.44.1과 비교한 자체 재현 벤치를 공개한다. 15k 프롬프트 프리필에서 capy-flash의 NVFP4 결과는 3,778 tok/s로 Strata NVFP4의 2,703 tok/s보다 높고, 첫 토큰까지는 1.82초로 2.42초보다 짧다. 반면 Strata의 3-bit IQ3_S는 55k 프롬프트 프리필에서 4,037 tok/s, 생성에서 124.1 tok/s를 기록했다. 저자들은 코딩 과제에서 capy-flash가 23% 더 많은 토큰을 생성했지만, 20회 실행 시간은 4.28시간 대 4.32시간이었다고 설명한다. NVIDIA 공식 NVFP4 expert를 재양자화 없이 사용하며, 다단계 코딩 과제 20개에서 1124회 도구 호출 중 malformed가 0회였다고 보고한다.
비교 결과는 특정 하드웨어와 프롬프트 조건에서 나온 자체 재현 벤치다. NVFP4 구성은 일부 지표에서 앞서지만 Strata의 IQ3_S가 앞선 지표도 있어, 이 수치만으로 전반적인 성능 우위를 말하기는 어렵다.