github.devotd.
새 소식AI

decoderesearch/saelens v6.54.12 — SAE로 언어 모델 내부 표현 해석

decoderesearch/saelens는 언어 모델의 활성값에서 희소 오토인코더(SAE)를 학습·분석해 내부 표현을 해석하게 하는 Python 라이브러리다.

저장소 정보decoderesearch/saelens ↗

decoderesearch/saelens는 언어 모델의 활성값에서 희소 오토인코더(SAE)를 학습·분석해 내부 표현을 해석하게 하는 Python 라이브러리다.

GitHub 설명: Training Sparse Autoencoders on Language Models

스타
★ 1.6K
포크
295
언어
Python
라이선스
MIT
최신 릴리스
v6.54.12
원문 보기 ↗GitHub에서 보기 ↗

decoderesearch/saelens는 언어 모델의 활성값에서 희소 오토인코더(SAE)를 학습해 모델 내부의 표현을 분석하는 Python 라이브러리다. 공개된 최신 릴리스는 v6.54.12이며, 수집된 기록에는 이 버전의 변경 내역이 없어 무엇이 달라졌는지는 주어지지 않는다.

SAE는 하나의 활성값(activation)을 소수의 특징(feature)으로 되짚는 방식이며, 이 라이브러리는 그 특징을 학습·분석해 기계론적 해석 가능성(mechanistic interpretability)을 연구하도록 돕는다. README는 추론이 모든 PyTorch 기반 모델에서 가능하다고 밝히고, TransformerLens와 깊이 통합되어 있으며 Hugging Face Transformers나 NNsight에서 추출한 활성값을 SAE의 encode()와 decode() 메서드에 전달해 쓸 수 있다고 설명한다. 사전 학습된 SAE를 불러와 분석하는 방법, 직접 학습한 뒤 SAE-Vis Library로 특성 대시보드를 만드는 방법도 제공한다. 라이선스는 MIT, 주 언어는 Python이며 GitHub 별 수는 1566개다.

다만 새로움·기술·품질 점수는 매겨져 있지 않아, 10점 만점 기준 모멘텀 점수 1.4 외에 비교 기준으로 삼을 평가값이 없다. README가 서술하는 기능이 독립적인 측정으로 확인된 결과는 아니며, v6.54.12의 변경 내역도 알려지지 않았다. 쓰기 시작하려면 릴리스 노트를 먼저 확인하는 편이 현실적이다.