github.devotd.
新发现推理与服务

triton-inference-server/server v2.73.0 — 多框架推理服务器

Triton Inference Server 是把 TensorRT、PyTorch、ONNX 等多个机器学习框架的模型集中到一台服务器上,并通过 HTTP/REST 和 gRPC 接收推理请求的开源推理服务器,该仓库的最新版本是 v2.73.0。

仓库信息triton-inference-server/server ↗

Triton Inference Server 是把 TensorRT、PyTorch、ONNX 等多个机器学习框架的模型集中到一台服务器上,并通过 HTTP/REST 和 gRPC 接收推理请求的开源推理服务器,该仓库的最新版本是 v2.73.0。

GitHub 项目说明: The Triton Inference Server provides an optimized cloud and edge inferencing solution.

星标
★ 11.1K
复刻
1.9K
语言
Python
许可证
BSD-3-Clause
最新版本
v2.73.0
查看原始来源 ↗在 GitHub 查看 ↗

triton-inference-server/server 的最新版本是 v2.73.0。该仓库是用于简化 AI 推理的开源推理服务软件,面向云端和边缘环境下的推理做了优化。它的核心目的是把用不同机器学习框架构建的模型集中到同一个服务中统一部署。

README 中整理的支持范围很广。它可以部署用 TensorRT、PyTorch、ONNX、OpenVINO、Python 和 RAPIDS FIL 构建的模型,运行目标包括 NVIDIA GPU、x86 与 ARM CPU,以及 AWS Inferentia。推理方式分为实时、批处理、ensemble(把多个模型的结果合并为一个结果的配置)和音视频流式处理。客户端通过 HTTP/REST 和 gRPC 两种协议调用模型,安装与使用说明以 Docker 为准,并附有教程和示例。许可证是 BSD-3-Clause,主要语言是 Python。该仓库创建于 2018 年 10 月 4 日,GitHub 星星数为 11099。

不过,收集到的记录中没有 v2.73.0 的变更内容。由于缺少与发布说明相对应的信息,无法判断这一版本是否包含某项具体的功能改进,还是只是延续了维护记录。momentum 评分为 10 分制下的 0.7,新颖性、技术和质量评分均为空。仅从文档可确认的范围来看,对于需要把多个框架的模型集中到同一个服务器之后的场景,这是一个值得确认的仓库。