neroued/ninfer

neroued/ninfer는 일부 모델과 GPU를 대상으로 텍스트·이미지·영상 추론 및 호환 서버를 제공하는 C++·CUDA 엔진이다.

GitHub 설명: High-performance single-GPU inference for selected model checkpoints and GPUs.

스타

★ 3.2K

포크

673

언어

C++

라이선스

Apache-2.0