decoderesearch/saelens 是一个 Python 库,通过在语言模型的激活值上训练稀疏自编码器(SAE)来分析模型内部的表示。已公开的最新版本是 v6.54.12,收录的记录中没有该版本的变更日志,因此没有说明究竟发生了哪些变化。
SAE 的做法是把一个激活值(activation)还原为少数几个特征(feature),该库通过学习并分析这些特征,帮助研究机制可解释性(mechanistic interpretability)。README 说明推理可用于所有基于 PyTorch 的模型,与 TransformerLens 深度集成,并且可以把从 Hugging Face Transformers 或 NNsight 中提取的激活值传入 SAE 的 encode() 和 decode() 方法。它还介绍了如何加载预训练好的 SAE 进行分析,以及如何自行训练并用 SAE-Vis Library 制作特性仪表板。许可证为 MIT,主要语言是 Python,GitHub 星标数为 1566。
不过该项目没有新颖性、技术与质量方面的评分,因此除了10 分制下的 1.4 分势能分之外,没有可作为比较基准的评估数值。README 中描述的功能并非经独立测量验证的结果,v6.54.12 的变更内容也不清楚。实际操作上,动手之前先查看发布说明更为稳妥。