Devotd Github
新着推論・サービング

nvidia/tensorrt v11.4 — GPU 推論 SDK の公開コンポーネント

nvidia/tensorrt は NVIDIA GPU 向けディープラーニング推論 SDK である TensorRT のオープンソースコンポーネントを収録しており、最新リリースは v11.4 である。

リポジトリ情報nvidia/tensorrt ↗

nvidia/tensorrt は NVIDIA GPU 向けディープラーニング推論 SDK である TensorRT のオープンソースコンポーネントを収録しており、最新リリースは v11.4 である。

GitHub の説明: NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.

スター
★ 13.4K
フォーク
2.4K
言語
C++
ライセンス
Apache-2.0
最新リリース
v11.4
原文を見る ↗GitHub で見る ↗

nvidia/tensorrt は TensorRT のオープンソースコンポーネントを収録したリポジトリである。TensorRT は NVIDIA GPU でディープラーニング推論を高性能に実行するための SDK であり、最新リリースは v11.4 だ。公開されているのは TensorRT プラグインと ONNX パーサー(ONNX モデルファイルを読み込むコンポーネント)のソース、そしてプラットフォームの使い方を機能を示すサンプルアプリケーションである。README はこの OSS コンポーネントが TensorRT GA(一般提供)リリースの一部であり、いくつかの拡張とバグ修正を含むと述べている。公開されているのは SDK 全体ではなくこのコンポーネント側である。

公開部分だけでも、CUDA GPU に特化した推論エンジンの構成がどのようなものかは確認できる。このエンジンはモデル最適化、プラグイン、ランタイム経路へとつながる構成で、実装言語は C++、ライセンスは Apache-2.0 である。リポジトリは 2019 年 5 月 2 日に作られ、スターは 13,409 個だ。NVIDIA GPU 上での推論パイプラインを直接扱う側であれば、プラグインとパーサーのソースがコードとして残っているため、確認の出発点になる。

ただし、v11.4 で何が変更されたかを項目別に示す資料はない。README は公開範囲と含まれる拡張、バグ修正を述べるのみで、性能を比較できるベンチマークや測定値も示していない。他リポジトリと比較したスコアもなく、このバージョンが実際の推論性能をどれだけ動かしたかは、このリポジトリだけでは判断しにくい。すでに TensorRT を扱う側の参考資料としては読む価値があるが、新しい確認対象を探している側は、変更履歴を個別に見られないという限界を先に知っておく必要がある。