neroued/ninfer

neroued/ninfer は、一部のモデルと GPU を対象にテキスト・画像・動画推論と互換サーバーを提供する C++・CUDA エンジンである。

GitHub の説明: High-performance single-GPU inference for selected model checkpoints and GPUs.

スター

★ 3.2K

フォーク

673

言語

C++

ライセンス

Apache-2.0