transformerlensorg/transformerlens는 GPT 계열 언어 모델이 학습 과정에서 익힌 계산을 해부하는 기계적 해석(mechanistic interpretability) 라이브러리다. Python으로 작성됐고 MIT 라이선스로 공개돼 있다. 저장소 기준 최신 릴리스는 v4.2.0이며, 이 버전에 담긴 변경 항목은 주어진 정보에 없다.
README가 밝힌 목표는 학습된 모델의 가중치를 분석해 학습 과정에서 익힌 알고리즘을 역설계하는 것이다. 내부 활성값(activation)은 입력이 층을 지날 때 계산되는 중간 값으로, TransformerBridge로 모델을 불러와 이를 확인하고 캐시할 수 있다. 실행 중인 활성값은 편집하거나 제거, 대체할 수 있어 모델 내부에서 어떤 계산이 일어나는지 관찰하고 고칠 수 있다. 기본 설정에서는 HuggingFace의 원시 가중치를 유지한다. 저장소는 2022년 8월 26일 만들어졌고 별 개수는 3983이다.
다만 공개된 정보에는 성능 수치와 벤치마크 결과, v4.2.0의 릴리스 노트가 없다. 연구 데이터베이스에는 모멘텀 점수 3.0만 기록돼 있고 나머지 세 항목의 점수는 비어 있다. 주어진 정보로 확인되는 것은 학습된 모델의 내부 계산을 관찰하고 편집하는 도구라는 사실까지다. 활성값 편집이 실제 출력에 어떤 영향을 주는지는 이 정보만으로 판단하기 어렵다.