triton-inference-server/server

Triton Inference Server는 TensorRT, PyTorch, ONNX 등 여러 머신러닝 프레임워크의 모델을 한 서버에 묶어 HTTP/REST와 gRPC로 추론 요청을 받는 오픈 소스 추론 서버이며, 저장소의 최신 릴리스는 v2.73.0이다.

GitHub 설명: The Triton Inference Server provides an optimized cloud and edge inferencing solution.

스타

★ 11.1K

포크

1.9K

언어

Python

라이선스

BSD-3-Clause

최신 릴리스

v2.73.0