transformerlensorg/transformerlens は、GPT 系の言語モデルが学習過程で習得した計算を解体する機械的解釈(mechanistic interpretability)ライブラリである。Python で書かれ、MIT ライセンスで公開されている。リポジトリ基準の最新リリースは v4.2.0 であり、このバージョンに含まれる変更項目は与えられた情報には記載されていない。
README が掲げている目標は、学習済みモデルの重みを解析し、学習過程で習得したアルゴリズムを逆説することである。内部活性化値(activation)は入力が層を通過する際に計算される中間値であり、TransformerBridge でモデルを読み込むことで確認しキャッシュできる。実行中の活性化値は編集、削除、置換が可能で、モデル内部でどのような計算が起きているかを観察し修正できる。既定では HuggingFace の生の重みを保持する。リポジトリは 2022 年 8 月 26 日に作成され、スター数は 3983 である。
ただし、公開されている情報には性能指標もベンチマーク結果も、v4.2.0 のリリースノートも記載されていない。研究データベースにはモメンタムスコア 3.0 のみが記録され、残る三項目のスコアは空欄である。与えられた情報で確認できるのは、学習済みモデルの内部計算を観察し編集するツールであることまでである。活性化値の編集が実際の出力にどのような影響を与えるかは、この情報だけでは判断しにくい。