neroued/ninfer 是一个基于 C++·CUDA 的本地推理引擎，面向部分模型检查点和 GPU。根据仓库介绍，它支持文本以及图像、视频生成，并提供命令行工具和服务器。目前没有登记 latest release。该仓库采用 Apache-2.0 许可证，拥有 3,228 个 star。
该引擎不仅能运行模型，还具备可供应用调用的服务器功能。服务器提供与 OpenAI 和 Anthropic 兼容的 HTTP API。README 摘要中提到支持 RTX 5090，以及使用两台 DGX Spark 进行模型并行运行。它还包含 CUDA graph 解码、推测解码，以及供多个请求共享并复用的前缀缓存。一个引擎负责一个模型，最多同时处理八个请求。它还支持工具调用、固定格式输出和离线打分。其自身制品中包含权重与配置、分词器等。
不过，支持目标仅限于部分模型检查点和 GPU。仅凭提供的信息无法确认具体支持哪些检查点与 GPU 的组合。因此，虽然功能列表相当广泛，但是否真正可用，仍需先确认所需的模型和硬件是否在支持范围内。