neroued/ninfer は、一部のモデルチェックポイントと GPU を対象とする C++・CUDA ベースのローカル推論エンジンである。リポジトリの説明によると、テキストおよび画像・動画の生成に対応し、コマンドラインツールとサーバーを提供する。latest release は登録されていない。リポジトリのライセンスは Apache-2.0 で、スターは 3,228 個である。
このエンジンはモデルを実行するだけでなく、アプリケーションから呼び出せるサーバー機能を備えている。サーバーは OpenAI および Anthropic 互換の HTTP API を提供する。README の概要には RTX 5090 への対応と、DGX Spark 2 台を利用したモデル並列実行が明記されている。CUDA graph デコード、投機的デコード、複数のリクエストで共有する先頭部分を再利用するキャッシュも含まれる。エンジン 1 基が 1 つのモデルを担当し、同時リクエストは最大 8 件まで処理する。ツール呼び出し、形式が指定された出力、オフラインスコアリングにも対応する。独自アーティファクトには重み、設定、トークナイザーなどが含まれる。
ただし対応対象は一部のモデルチェックポイントと GPU に限られる。提供された情報だけでは、どのチェックポイントと GPU の組み合わせが対応しているのかを具体的に確認できない。そのため機能リストは幅広いものの、実際に利用可能かは、必要なモデルとハードウェアが対応範囲に含まれるかを確認してから判断する必要がある。