triton-inference-server/server

Triton Inference Server は TensorRT、PyTorch、ONNX などの複数の機械学習フレームワークのモデルを 1 つのサーバーにまとめ、HTTP/REST と gRPC で推論リクエストを受け付けるオープンソースの推論サーバーで、リポジトリの最新リリースは v2.73.0 である。

GitHub の説明: The Triton Inference Server provides an optimized cloud and edge inferencing solution.

スター

★ 11.1K

フォーク

1.9K

言語

Python

ライセンス

BSD-3-Clause

最新リリース

v2.73.0