triton-inference-server/server

Triton Inference Server 是把 TensorRT、PyTorch、ONNX 等多个机器学习框架的模型集中到一台服务器上，并通过 HTTP/REST 和 gRPC 接收推理请求的开源推理服务器，该仓库的最新版本是 v2.73.0。

GitHub 项目说明: The Triton Inference Server provides an optimized cloud and edge inferencing solution.

星标

★ 11.1K

复刻

1.9K

语言

Python

许可证

BSD-3-Clause

最新版本

v2.73.0