nvidia/tensorrt-llm은 NVIDIA GPU에서 대규모 언어 모델(LLM) 추론을 효율화하는 도구다. LLM을 정의하는 Python API와 추론 실행을 조율하는 Python 및 C++ 런타임 구성 요소를 한 저장소에 담고 있다. 이 저장소의 최신 릴리스는 v1.2.1이며, 이번 릴리스의 변경 내역은 제공된 자료에 기록되어 있지 않다.
README는 이 프로젝트가 LLM과 Visual Gen 모델의 추론을 최적화한다고 밝힌다. 공통 연산을 위한 특수화 커널(specialized kernel)과 효율적인 런타임, 사용자가 시스템을 맞춤화하고 확장할 수 있는 Pythonic framework가 핵심 구성이다. 최적화는 NVIDIA GPU를 전제로 한다.
저장소는 Python으로 작성됐고 스타 수는 14902, 생성일은 2023년 8월 16일로 GitHub 기록에 남아 있다. 라이선스 필드는 NOASSERTION으로 표기돼 있어 구체적인 라이선스 종류는 확인할 수 없다.
다만 성능 수치와 벤치마크는 제공된 자료에 없고, 다른 하드웨어와의 비교도 제시돼 있지 않다. 평가 항목 중 momentum 5.5만 값이 있고 나머지 항목은 비어 있다. v1.2.1에서 무엇이 달라졌는지는 릴리스 노트가 자료에 없어 저장소 릴리스 페이지를 직접 확인해야 한다. 활용 범위는 NVIDIA GPU를 이미 갖춘 환경으로 정해지며, 하드웨어를 가리지 않는 범용 추론 스택을 찾는 쪽에는 맞지 않는다.