ndif-team/nnsight 是一个介入已训练模型内部计算的库,可读取和修改激活值、层输出、注意力模式与梯度。该库使用 Python,许可证为 MIT,最新版本为 v0.8.1。不过目前可获取的信息中没有该版本的变更列表,因此这里不作具体说明,准确内容需要直接查看 GitHub 发布页面确认。
它通过记录执行路径(trace)来工作。在 model.trace(...) 块中按执行顺序编写普通 Python 代码,就可以观察、改写或保存每一步的值。它不仅支持 PyTorch 模型,还提供用于 HuggingFace、diffusers 和 vLLM 的封装,同一个 trace 既可以在本地模型上运行,也可以在 NDIF 基础设施的远程模型上运行。它还负责遍历生成步骤、一次性处理多个提示词以及重新计算梯度。该仓库创建于 2023 年 10 月,累计获得 1125 个 star。
没有证据表明它能让模型在性能或准确率上表现得更好。没有任何对比数值,评分项大多未填写,唯一填写的 momentum 仅为 10 分中的 1 分。它更适合被看作一个用来查看手头已有模型内部结构的工具,没有理由把它当作能提升训练或推理性能的库来期待。