github.devotd.
新发现人工智能

transformerlensorg/transformerlens v4.2.0 — 机械可解释性库

transformerlensorg/transformerlens 是一个 Python 库,通过分析已训练语言模型的权重和内部激活值来逆向推导训练过程。

仓库信息transformerlensorg/transformerlens ↗

transformerlensorg/transformerlens 是一个 Python 库,通过分析已训练语言模型的权重和内部激活值来逆向推导训练过程。

GitHub 项目说明: A library for mechanistic interpretability of GPT-style language models

星标
★ 4K
复刻
719
语言
Python
许可证
MIT
最新版本
v4.2.0
查看原始来源 ↗在 GitHub 查看 ↗

transformerlensorg/transformerlens 是一个机械可解释性(mechanistic interpretability)库,用于剖析 GPT 系列语言模型在训练过程中习得的计算。它用 Python 编写,并以 MIT 许可证开源。以仓库为准的最新版本是 v4.2.0,现有信息中没有说明该版本包含的变更内容。

README 所述的目标是分析已训练模型的权重,逆向推导它在训练过程中习得的算法。内部激活值(activation)是输入穿过各层时计算得到的中间值,通过 TransformerBridge 加载模型即可查看并缓存这些值。运行中的激活值可以编辑、删除或替换,因此能够观察并修正模型内部发生的计算。默认设置下会保留 HuggingFace 的原始权重。该仓库创建于 2022 年 8 月 26 日,星标数量为 3983。

不过,公开信息中没有性能指标、没有基准测试结果,也没有 v4.2.0 的发布说明。研究数据库中只记录了动量分数 3.0,其余三项的分数为空。现有信息所能确认的,仅是它是一款用于观察和编辑已训练模型内部计算的工具。激活值编辑会对实际输出产生什么影响,仅凭这些信息难以判断。