neroued/ninfer는 일부 모델 체크포인트와 GPU를 대상으로 하는 C++·CUDA 기반 로컬 추론 엔진이다. 저장소 소개에 따르면 텍스트와 이미지·영상 생성을 지원하며, 명령줄 도구와 서버를 제공한다. latest release는 등록돼 있지 않다. 저장소는 Apache-2.0 라이선스이며 별은 3,228개다.
이 엔진은 모델 실행뿐 아니라 애플리케이션에서 호출할 수 있는 서버 기능도 갖췄다. 서버는 OpenAI 및 Anthropic 호환 HTTP API를 제공한다. README 요약에는 RTX 5090 지원과 DGX Spark 두 대를 이용한 모델 병렬 실행이 명시돼 있다. CUDA 그래프 디코딩, 추측 디코딩, 여러 요청이 공유하는 앞부분을 재사용하는 캐시도 포함한다. 엔진 하나가 모델 하나를 맡고 동시 요청을 최대 여덟 개 처리한다. 도구 호출, 형식이 정해진 출력, 오프라인 점수 산정도 지원한다. 자체 아티팩트에는 가중치와 설정, 토크나이저 등이 담긴다.
다만 지원 대상은 일부 모델 체크포인트와 GPU로 한정된다. 제공된 정보만으로는 구체적으로 어떤 체크포인트와 GPU 조합이 지원되는지 확인할 수 없다. 따라서 기능 목록은 폭넓지만, 실제 사용 가능 여부는 필요한 모델과 하드웨어가 지원 범위에 포함되는지 확인한 뒤 판단해야 한다.