Devotd Github
新发现推理与服务

nvidia/tensorrt v11.4 — GPU 推理 SDK 的公开组件

nvidia/tensorrt 收录了面向 NVIDIA GPU 的深度学习推理 SDK TensorRT 的开源组件,最新发布版本为 v11.4。

仓库信息nvidia/tensorrt ↗

nvidia/tensorrt 收录了面向 NVIDIA GPU 的深度学习推理 SDK TensorRT 的开源组件,最新发布版本为 v11.4。

GitHub 项目说明: NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.

星标
★ 13.4K
复刻
2.4K
语言
C++
许可证
Apache-2.0
最新版本
v11.4
查看原始来源 ↗在 GitHub 查看 ↗

nvidia/tensorrt 收录了 TensorRT 的开源组件。TensorRT 是在 NVIDIA GPU 上高性能运行深度学习推理的 SDK,最新发布版本为 v11.4。公开的内容包括 TensorRT 插件与 ONNX 解析器(读取 ONNX 模型文件的组件)的源码,以及展示平台用法与功能的示例应用。README 说明这一 OSS 组件是 TensorRT GA(正式发布)版本的一部分,并包含若干扩展与缺陷修复。公开的只是这个组件,而不是整个 SDK。

仅凭公开的部分,也可以看出针对 CUDA GPU 定制的推理引擎配置大致是什么结构。这条引擎线索通向模型优化、插件和运行时路径,实现语言为 C++,许可证为 Apache-2.0。该仓库创建于 2019 年 5 月 2 日,已获得 13,409 个 star。若是直接在 NVIDIA GPU 上处理推理流水线的一方,插件与解析器的源码都以代码形式保留,是很好的查看起点。

不过,没有任何资料逐项列出 v11.4 改动了什么。README 只说明公开范围以及包含的扩展和缺陷修复,没有给出可供比较性能的基准测试或测量数据。也没有与其他仓库的对比评分,所以这一版本在实际推理性能上究竟带来多少变化,仅凭这个仓库难以判断。对已经在使用 TensorRT 的一方来说,它作为参考资料值得一读;但想找新目标来考察的人,需要先知道无法单独查看变更记录这一限制。