triton-inference-server/server의 최신 릴리스는 v2.73.0이다. 이 저장소는 AI 추론을 단순화하는 오픈 소스 추론 서비스 소프트웨어로, 클라우드와 엣지 환경의 추론에 최적화하도록 만들어졌다. 여러 머신러닝 프레임워크에서 만든 모델을 하나의 서비스로 묶어 배포하는 것이 핵심 목적이다.
README에 정리된 지원 범위는 넓다. TensorRT, PyTorch, ONNX, OpenVINO, Python, RAPIDS FIL로 만든 모델을 배포할 수 있고, 실행 대상은 NVIDIA GPU, x86·ARM CPU, AWS Inferentia다. 추론 방식은 실시간, 배치, 앙상블, 오디오·비디오 스트리밍으로 나뉜다. 앙상블은 여러 모델의 결과를 하나로 합치는 구성이다. 클라이언트는 HTTP/REST와 gRPC 두 프로토콜로 모델을 호출하고, 설치와 사용법은 Docker를 기준으로 안내하며 튜토리얼과 예제도 함께 담고 있다. 라이선스는 BSD-3-Clause, 주 언어는 Python이다. 저장소는 2018년 10월 4일 만들어졌고 GitHub 스타는 11099개다.
다만 수집된 기록에는 v2.73.0의 변경 내역이 없다. 릴리스 노트에 해당하는 내용이 없어 이번 버전이 특정 기능 개선을 담아낸 것인지 유지 관리 이력만 쌓인 것인지는 확인할 수 없다. 모멘텀(momentum) 점수는 10점 만점 기준 0.7에 그치고 참신성·기술·품질 점수는 비어 있다. 문서로 확인되는 범위만 보면 여러 프레임워크의 모델을 한 서버 뒤로 모아야 하는 구성에는 확인할 가치가 있는 저장소다.