ndif-team/nnsight는 학습된 모델의 내부 계산에 개입해 활성값과 레이어 출력, 어텐션 패턴, 그래디언트를 읽고 수정하는 라이브러리다. 언어는 Python, 라이선스는 MIT이며 최신 릴리스는 v0.8.1이다. 다만 이 버전의 변경 목록은 확인할 수 있는 정보가 없어 여기서는 특정하지 않고, 정확한 내용은 GitHub 릴리스 페이지에서 직접 확인해야 한다.
실행 경로 기록(trace)을 남기는 방식으로 동작한다. model.trace(...) 블록에 일반 Python 코드를 실행 순서대로 적으면 각 단계의 값을 관찰하고 고쳐 쓰거나 저장해 둘 수 있다. PyTorch 모델뿐 아니라 HuggingFace, diffusers, vLLM용 래퍼를 지원하고, 같은 trace를 로컬 모델이나 NDIF 인프라의 원격 모델에서도 실행할 수 있다. 생성 단계를 훑거나 여러 프롬프트를 한 번에 처리하고 그래디언트를 다시 계산하는 일도 맡는다. 저장소는 2023년 10월에 만들어졌고 별 1125개를 모였다.
성능이나 정확도에서 모델을 더 잘 돌리게 해 준다는 근거는 없다. 비교 수치는 없고, 점수 항목도 대부분 채워지지 않았으며 채워진 모멘텀만 10점 만점에 1점으로 낮다. 이미 손에 있는 모델의 내부를 들여다보아야 할 때 쓰는 도구로 보는 것이 맞고, 학습이나 추론 성능을 끌어올리는 라이브러리로 기대할 근거는 없다.