Devotd Github
新着AIエージェント

felipepenha/pi-weight-space-programming v0.0.4 — 重みの直接編集

felipepenha/pi-weight-space-programming は、言語モデルが学習なしでニューラルネットワークの重みを解析・編集できる Pi 拡張だ。

リポジトリ情報felipepenha/pi-weight-space-programming ↗

felipepenha/pi-weight-space-programming は、言語モデルが学習なしでニューラルネットワークの重みを解析・編集できる Pi 拡張だ。

GitHub の説明: Pi extension for "Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights"

スター
★ 7
フォーク
0
言語
Python
ライセンス
Apache-2.0
最新リリース
v0.0.4
原文を見る ↗GitHub で見る ↗

felipepenha/pi-weight-space-programming は、Pi コーディングエージェントの中で言語モデルが学習なしでニューラルネットワークの重みを読み書きできるようにする拡張だ。リポジトリの最新リリースは v0.0.4 だが、提供された資料にはこのバージョンでの変更点は示されていない。README はチェックポイントの解析、重み行列にアルゴリズムを組み立てる機能、勾配不要の編集ツールを提供すると説明している。

このアプローチの焦点は、ニューラルネットワークを再学習させるのではなく、重みそのものを調べて修正することにある。純粋な NumPy で、safetensors ファイルの特異値分布と有効ランク、アテンション回路を順方向計算なしで解析する。記号的に表現したアルゴリズムを重み行列に直接コンパイルし、方向部分空間射影で特定の重みを調整するツールも含む。論文の実験設定と実行記録を結び付け、ひとつのフラグで実験を再現する機能と Hugging Face チェックポイントのダウンロードにも対応している。

別の Python サンドボックスは CPU 専用で、ネットワークを遮断し、逆伝播とオプティマイザの使用を禁じている。したがって重みを扱う作業フローは提供されるが、適用範囲はサンドボックスの実行条件の中に限られる。提供された資料には編集品質を判断できる性能指標も、他のツールとの比較もない。このリポジトリは当該アプローチを試す道具と見ることができるが、編集結果の効果を裏づける根拠は示されていない。