Devotd Github
새 소식AI 에이전트

felipepenha/pi-weight-space-programming v0.0.4 — 가중치 직접 편집

felipepenha/pi-weight-space-programming은 언어 모델이 학습 없이 신경망 가중치를 분석하고 편집하는 Pi 확장이다.

저장소 정보felipepenha/pi-weight-space-programming ↗

felipepenha/pi-weight-space-programming은 언어 모델이 학습 없이 신경망 가중치를 분석하고 편집하는 Pi 확장이다.

GitHub 설명: Pi extension for "Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights"

스타
★ 7
포크
0
언어
Python
라이선스
Apache-2.0
최신 릴리스
v0.0.4
원문 보기 ↗GitHub에서 보기 ↗

felipepenha/pi-weight-space-programming은 Pi 코딩 에이전트에서 언어 모델이 학습 없이 신경망 가중치를 읽고 편집하도록 돕는 확장이다. 저장소의 최신 릴리스는 v0.0.4지만, 제공된 자료에는 이 버전에서 바뀐 항목이 나와 있지 않다. README는 체크포인트 분석, 가중치 행렬에 알고리즘을 구성하는 기능, 기울기 없는 편집 도구를 제공한다고 설명한다.

이 접근은 신경망을 다시 학습시키는 대신 가중치 자체를 살피고 수정하는 데 초점을 둔다. 순수 NumPy로 safetensors 파일의 특이값 분포와 유효 랭크, 어텐션 회로를 순방향 계산 없이 분석한다. 기호로 표현한 알고리즘을 가중치 행렬에 직접 컴파일하고, 방향 부분공간 투영으로 특정 가중치를 조정하는 도구도 포함한다. 논문 실험 설정과 실행 기록을 연결하며, 한 플래그로 실험을 재현하는 기능과 Hugging Face 체크포인트 다운로드를 지원한다.

별도 Python 샌드박스는 CPU 전용이며 네트워크를 끄고 역전파와 최적화기 사용을 막는다. 따라서 가중치를 다루는 작업 흐름은 제공하지만, 적용 범위는 샌드박스의 실행 조건 안에 있다. 제공된 자료에는 편집 품질을 판단할 성능 수치나 다른 도구와의 비교가 없다. 이 저장소는 해당 접근을 실험하는 도구로 볼 수 있지만, 편집 결과의 효과를 뒷받침할 근거는 제시되지 않았다.