nvidia/tensorrt 收录了 TensorRT 的开源组件。TensorRT 是在 NVIDIA GPU 上高性能运行深度学习推理的 SDK,最新发布版本为 v11.4。公开的内容包括 TensorRT 插件与 ONNX 解析器(读取 ONNX 模型文件的组件)的源码,以及展示平台用法与功能的示例应用。README 说明这一 OSS 组件是 TensorRT GA(正式发布)版本的一部分,并包含若干扩展与缺陷修复。公开的只是这个组件,而不是整个 SDK。
仅凭公开的部分,也可以看出针对 CUDA GPU 定制的推理引擎配置大致是什么结构。这条引擎线索通向模型优化、插件和运行时路径,实现语言为 C++,许可证为 Apache-2.0。该仓库创建于 2019 年 5 月 2 日,已获得 13,409 个 star。若是直接在 NVIDIA GPU 上处理推理流水线的一方,插件与解析器的源码都以代码形式保留,是很好的查看起点。
不过,没有任何资料逐项列出 v11.4 改动了什么。README 只说明公开范围以及包含的扩展和缺陷修复,没有给出可供比较性能的基准测试或测量数据。也没有与其他仓库的对比评分,所以这一版本在实际推理性能上究竟带来多少变化,仅凭这个仓库难以判断。对已经在使用 TensorRT 的一方来说,它作为参考资料值得一读;但想找新目标来考察的人,需要先知道无法单独查看变更记录这一限制。