neroued/ninfer

neroued/ninfer 是一个 C++·CUDA 引擎，面向部分模型和 GPU 提供文本、图像、视频推理以及兼容服务器。

GitHub 项目说明: High-performance single-GPU inference for selected model checkpoints and GPUs.

星标

★ 3.2K

复刻

673

语言

C++

许可证

Apache-2.0