triton-inference-server/server の最新リリースは v2.73.0 である。このリポジトリは AI 推論を単純化するオープンソースの推論サービスソフトウェアで、クラウドとエッジ環境での推論に向けて最適化されている。複数の機械学習フレームワークで作ったモデルを 1 つのサービスにまとめて配布することが中核となる目的である。
README にまとめられたサポート範囲は広い。TensorRT、PyTorch、ONNX、OpenVINO、Python、RAPIDS FIL で作ったモデルをデプロイでき、実行対象は NVIDIA GPU、x86・ARM CPU、AWS Inferentia である。推論方式はリアルタイム、バッチ、ensemble、オーディオ・ビデオのストリーミングに分けられる。ensemble は複数のモデルの結果を 1 つにまとめる構成である。クライアントは HTTP/REST と gRPC の 2 つのプロトコルでモデルを呼び出し、インストールと使い方は Docker を基準に案内され、チュートリアルとサンプルも収録されている。ライセンスは BSD-3-Clause、主力言語は Python である。リポジトリは 2018 年 10 月 4 日に作成され、GitHub スターは 11099 個だ。
ただし、取得された記録には v2.73.0 の変更内容が含まれていない。リリースノートに相当する記載がないため、このバージョンが特定の機能改善を含むのか、保守履歴が積み重なっただけなのかは確認できない。momentum スコアは 10 点満点中 0.7 に留まり、新しさ・技術・品質のスコアは空欄である。文書で確認できる範囲だけを見ると、複数のフレームワークのモデルを 1 つのサーバーの後ろにまとめる構成には確認する価値のあるリポジトリだ。