Devotd Github
新发现AI 智能体

felipepenha/pi-weight-space-programming v0.0.4 — 直接编辑权重

felipepenha/pi-weight-space-programming 是一个 Pi 扩展,让语言模型无需训练即可分析并编辑神经网络权重。

仓库信息felipepenha/pi-weight-space-programming ↗

felipepenha/pi-weight-space-programming 是一个 Pi 扩展,让语言模型无需训练即可分析并编辑神经网络权重。

GitHub 项目说明: Pi extension for "Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights"

星标
★ 7
复刻
0
语言
Python
许可证
Apache-2.0
最新版本
v0.0.4
查看原始来源 ↗在 GitHub 查看 ↗

felipepenha/pi-weight-space-programming 是一个扩展,让语言模型在 Pi 编码代理中无需训练即可读取并编辑神经网络权重。该仓库的最新版本是 v0.0.4,但所提供的资料没有列出这个版本改动了哪些内容。README 介绍了检查点分析、把算法组装进权重矩阵的能力,以及无梯度的编辑工具。

这种思路的重点不是重新训练神经网络,而是直接查看和修改权重本身。它用纯 NumPy 在不做任何前向计算的情况下,分析 safetensors 文件的奇异值分布与有效秩,以及注意力回路。它把符号化表达的算法直接编译进权重矩阵,还包含通过方向性子空间投影调整特定权重的工具。它把论文的实验设置与运行记录关联起来,支持用一个开关复现实验,并支持下载 Hugging Face 检查点。

独立的 Python 沙箱仅支持 CPU,关闭网络,并禁止反向传播和优化器的使用。因此它提供了处理权重的工作流程,但适用范围受限于沙箱的运行条件。所提供的资料中没有可用于判断编辑质量的性能指标,也没有与其他工具的对比。这个仓库可以看作是对该思路进行实验的工具,但没有给出支撑编辑结果效果的证据。