ndif-team/nnsight は、学習済みモデルの内部計算に介入して、活性化値やレイヤ出力、アテンションパターン、勾配を読み取り修正するライブラリである。言語は Python、ライセンスは MIT で、最新リリースは v0.8.1 である。ただし、このバージョンの変更一覧を確認できる情報がないためここでは特定せず、正確な内容は GitHub のリリースページで直接確認する必要がある。
実行経路の記録（trace）を残す方式で動作する。model.trace(...) ブロックに通常の Python コードを実行順に書けば、各段階の値を観察したり、書き換えたり、保存したりできる。PyTorch モデルだけでなく HuggingFace、diffusers、vLLM 向けのラッパーも提供し、同じ trace をローカルモデルでも NDIF インフラのリモートモデルでも実行できる。生成ステップの走査、複数プロンプトの一括処理、勾配の再計算も担う。リポジトリは 2023 年 10 月に作成され、スターは 1125 個を集めた。
モデルの性能や精度をより良くするという根拠はない。比較数値はなく、スコア項目もほとんど未記入で、記入されている momentum 仅为 10 点満点中の 1 点と低い。すでに手元にあるモデルの内部を覗くためのツールと捉えるのが適切であり、学習や推論の性能を引き上げるライブラリとして期待する根拠はない。