github.devotd.
新着AI

decoderesearch/saelens v6.54.12 — SAEで言語モデルの内部表現を解釈

decoderesearch/saelens は、言語モデルの活性化値に疎オートエンコーダ(SAE)を学習・分析して内部表現を解釈する Python ライブラリである。

リポジトリ情報decoderesearch/saelens ↗

decoderesearch/saelens は、言語モデルの活性化値に疎オートエンコーダ(SAE)を学習・分析して内部表現を解釈する Python ライブラリである。

GitHub の説明: Training Sparse Autoencoders on Language Models

スター
★ 1.6K
フォーク
295
言語
Python
ライセンス
MIT
最新リリース
v6.54.12
原文を見る ↗GitHub で見る ↗

decoderesearch/saelens は、言語モデルの活性化値に疎オートエンコーダ(SAE)を学習し、モデル内部の表現を分析する Python ライブラリである。公開されている最新リリースは v6.54.12 であり、収集された記録にはこのバージョンの変更履歴がないため、何が変わったかは示されていない。

SAE は 1 つの活性化値(activation)を少数の特徴(feature)に分解する手法であり、このライブラリはその特徴を学習・分析することで、機構的可解釈性(mechanistic interpretability)の研究を支援する。README では、すべての PyTorch ベースモデルで推論が可能であること、TransformerLens と深く統合されていること、Hugging Face Transformers や NNsight で抽出した活性化値を SAE の encode() と decode() メソッドに渡して利用できることが説明されている。事前学習済みの SAE を読み込んで分析する方法や、自分で学習してから SAE-Vis Library で特徴ダッシュボードを作る方法も紹介されている。ライセンスは MIT、主な言語は Python で、GitHub のスター数は 1566 である。

ただし、新しさ・技術・品質の各スコアは付与されていないため、比較の基準となりうる評価値として、10 点満点中の 1.4 というモメンタムスコアしかない。README が述べる機能は独立した測定で確認された結果ではなく、v6.54.12 の変更内容も不明なままである。実際には、まずリリースノートを確認してから着手するのが現実的である。