权重空间编程的火花:大模型可以原生读取和写入神经网络权重(中文版)
Source: https://x.com/i/article/2117400954589073408
MIT CSAIL 博士生 Rikiya Takehi @rikiyatakehi 发布重要文章,指出前沿LLM如GPT-6 Astra能直接读取并编辑神经网络原始权重,无需训练或梯度下降。
在实验中,Astra仅修改Qwen3.5-0.8B模型0.016%的权重,修复其已知推理循环问题,使MATH-500成绩从7.9%提升至48.1%,指令跟随能力提升3倍。
他证明了前沿LLM已经具备原生读写神经网络权重的能力,这可能是未来优化、可解释性和模型改进方式的一个重要新方向。
以下是中文译文
太长不看 我们发现,前沿的LLM在原生读取和写入神经网络权重方面表现出惊人的能力,远远超出我们对人类或传统算法的预期。这对于优化和可解释性而言都可能意义重大。
仅通过查看原始权重,GPT-6 Astra就能判断出网络的训练目标。而且,在没有任何环境反馈的情况下,它**也能轻松地从零开始编写小型游戏网络,**这些网络在 1 亿步的游戏表现上甚至优于使用 PPO 算法训练的网络。
同样,针对如何提升 Qwen3.5-0.8B 在无梯度数学运算方面的表现,Astra**发现其权重存在问题,**导致推理循环(Qwen 自身的
也对此发出警告),并通过对 0.016% 的权重进行原生修改来修复此问题。在相同的采样设置下,此权重修正将 MATH-500 的准确率从 7.9% 提升至 48.1%,并且能够直接应用于指令跟踪运算,使 IFEval 提升 3 倍。
这一切都无需Astra编写训练循环即可实现。它运用自身的推理能力来推断神经网络的每个部分正在计算或应该计算什么,并据此调整权重。我们称之为权重空间规划。
在深度学习的发展历程中,我们一直将简单的归纳偏置编码到像 Adam 或 Muon 这样的小型符号优化器中。这种情况正在改变:我们的神经网络权重很快将由LLM(逻辑线性模型)进行原生优化,这些 LLM 会主动推理其权重。

如果让你亲手设计一个能下围棋的神经网络,你会怎么做?如果给你一些原始的神经网络权重,让你预测它们的行为,你又该从何入手?对几乎所有人来说,这几乎是不可能的。
如今,权重可以通过
、
或
生成。在本文中,我们发现,当前一代前沿的自然语言学习模型(LLM)在理解和构建围绕自然语言目标的神经网络权重方面,已经展现出惊人的能力。
重量-空间规划
几年来,我们一直在**使用LLM来优化文本元素,**例如提示信息以及围绕它们构建的程序。最近,我们开始使用它们来优化整个线束。以及训练机器学习模型的训练代码和超参数。
我们常常以这样一个事实为由来解释这些方法的合理性:我们不知道还有其他基于文本工件的爬山算法,这与更新可微神经网络的权重不同。毕竟,人类可以手动“优化”代码,所以让语言学习模型(LLM)来完成这项工作是合理的,但它们无法手动“优化”神经网络权重,因此这些工作主要还是局限于符号算法的范畴。
在这篇文章中,我们分享了一些非常初步的结果,这些结果使我们能够论证,即使对于可微神经网络,推理驱动优化的范式也即将到来。
在权重空间编程中,通用LLM 直接读取和写入网络的权重(即,不通过优化器,尤其是不使用梯度下降),围绕一些自然语言规范,有时甚至完全没有环境反馈。
在自然语言处理中,我们正逐渐能够**“直接请求”语言学习模型(LLM)原生地发现神经网络权重中隐藏的特征或缺陷,修复这些缺陷,或者从头开始编写一个新的网络**。我们将在下文中报告这些方面取得的初步且令人兴奋的成果,首先是在小型网络上,然后是在真正的语言模型上:
**语言学习模型(LLM)可以读取神经网络的权重:**在实验 1 至 3 中,我们向 Astra 提出一些问题,例如网络训练用来玩什么游戏、扩散模型绘制的是什么形状,以及小型语言模型是用哪种语言训练的。在实验 7 中,我们询问两个语言模型中哪一个被训练成谄媚的。
**LLM 可以修复神经网络权重:**在实验 4 中,我们让 Astra 修复一个在某些物理控制任务中表现不佳的网络。在实验 8 中,我们让它改进 Qwen3.5-0.8B 的数学运算能力,而它的修复也提高了其指令执行能力。
**LLM 可以从头开始编写神经网络权重:**在实验 5 中,我们要求 Astra 提供能够玩三个 MinAtar 游戏的网络;在实验 6 中,我们要求 Astra 提供能够玩围棋的网络。
LLM能否通过权重来理解模型行为?
我们首先进行小规模实验,看看 LLM 是否能够理解连续权重空间,而连续权重空间本质上只是一个数字列表。
在我们的初步实验中,我们使用某种算法训练了一个神经网络。如果LLM能够仅凭权重就判断其行为,那将非常令人兴奋。
实验 1 Astra能否仅根据权重判断出该网络是在哪款游戏上训练的?
我们使用 PPO 算法训练神经网络策略来玩四款电脑游戏。这四个网络使用相同的输入通道,从相同的动作中进行选择,并且具有完全相同的网络维度,因此除非读取权重,否则无法区分它们。
对于每个神经网络,我们将其原始权重作为提示传递给 Astra,并询问:这个神经网络是用哪个游戏训练的?**在不透露我们考虑的游戏选项的情况下,Astra 仍然能够为所有四个网络都正确识别出对应的游戏。**这尤其令人兴奋,因为 Astra 可以从众多游戏中进行选择。




Astra 似乎仅凭网络权重的特征就能推断出每个网络是为玩哪种游戏而设计的。例如,每个输入通道的第一层权重集中在哪个位置(例如,在打砖块游戏中,智能体的权重位于最底行,也就是一个挡板的位置),以及输出层区分的是哪些动作。
实验 2 Astra能否预测扩散模型将产生什么结果?
接下来,我们想看看这是否能推广到其他任务和模型。
我们训练扩散模型(DDPM)分别生成圆形、三角形和正方形图像。然后,我们询问 Astra 是否能够仅根据权重判断 DDPM 的训练目标图像类型。我们不允许使用任何工具或进行前向传播。
完整提示
完整推理
**Astra仅凭权重就能判断每个模型的生成结果。**它在输出层中找到形状,每个隐藏单元的权重绘制出形状边缘的一部分,然后它只绘制这些边缘。有趣的是,它将每个形状都绘制成轮廓,忽略了实际模型生成的是填充形状。这个错误表明,它并非依赖于前向传播的计算,而是直接读取权重的结构/几何形状。
实验 3 Astra 能否仅根据网络中间部分判断语言模型学习到了什么?
在上述前两个实验中,Astra 实际上并没有读取整个网络,它只需要读取第一层或最后一层即可。但对于我们真正关注的大型模型(尤其是语言模型)和问题而言,这并非一种可扩展的策略,因为它们处理和思考输入数据的过程通常发生在中间层。因此,接下来,我们移除第一层和最后一层,只保留中间层给 Astra 使用。
我们训练了三个小型语言模型(720万个参数)来预测下一个字符,每个模型都基于Python代码。 1 , 日语字母表(罗马字)以及英语 然后我们移除输入层和输出层,只给 Astra 提供中间的四个 Transformer 模块。缺少这两个层,权重中没有任何信息表明哪个字符对应哪个输出,模型也无法处理任何文本。Astra 可以用 Python 分析权重,但它无法在任何输入上运行网络或其任何层。
我们提出以下问题:这个网络是用哪种语言训练的?它的 24 个注意力头分别负责什么? Astra在两次尝试中都为所有三个网络都给出了正确的语言。它还找到了所有复制注意力头(归纳注意力头),即允许模型重复之前见过的文本的注意力头,并且没有将其他注意力头归类为复制注意力头。
推理过程如下。为了区分 Python,Astra 寻找复制头,这种复制头允许模型重复之前的文本,例如,当tot al出现在前面时,将tot补全为tot al。无需运行任何程序,它就找到了一个第一层头,该头向前查找一个字符,然后通过乘以权重矩阵,后续的头利用该头带来的信息进行搜索(
)。我们发现这实际上是 Elhage 等人提出的方法。我们从未向Astra提及此事。代码中名称的重复频率远高于散文,因此许多抄袭者都指向了Python。
罗马字之所以显得格外突出,是因为它接收到的四个模块中的最后一个(并非已被移除的输出层)书写方向的区分度较低,就好像模型需要区分的字母较少一样。事实上,罗马字从未使用过像 q、l、v 和 x 这样的字母。
LLM 可以编写神经网络权重吗?
到目前为止,Astra 只读取了权重。现在,我们想知道 Astra 是否知道如何写入权重。
实验 4 Astra能否通过修改权重来修复故障网络?
我们训练一个PPO网络来控制一辆汽车,使其能够在Kinetix环境中爬上坡道。
为了做到这一点,它需要倒车一段距离,以便有足够的跑道加速,从而克服坡道。然而,PPO 网络收敛到局部最小值策略,导致车辆直接冲向坡道并被困住。
我们给 GPT-6 Astra 提供权重、场景描述和一集录制好的视频,让它解释网络失败的原因,然后通过写入新的权重来修复它。在一次尝试中,Astra 仅用了 3.5% 的权重就让汽车在所有 1024 集视频中都成功运行。

根据环境背景和PPO网络的运动轨迹,Astra识别出该网络已收敛到局部最小值。通过对权重进行少量调整,Astra改变了策略,使车辆在全速前进之前先倒车。Astra的推理过程如下:它在每个层中添加一条仅包含几个单元的独立路径,用于读取车辆的位置和速度;一旦绿色车轮越过红色条纹,该路径就会关闭,由训练好的网络继续驱动车辆行驶。
实验5 LLM 可以从头开始编写权重吗?
现在让我们看看 Astra 能否从零开始编写一个神经网络。
我们玩三场 MinAtar 游戏:Breakout、Seaquest 和 Asterix。对于每款游戏,我们都向 Astra 提供游戏规则、源代码以及相应的网络。但我们不提供数据、损失函数、梯度和工具的访问权限。我们也不允许 Astra 在游戏环境中部署网络。Astra 仅凭网络权重和环境描述,就能直接生成文本格式的新权重,之后我们会对新网络进行评估。
在所有三款游戏中,Astra 生成的网络都击败了经过 1 亿步训练的 PPO 模型。与经过 5 亿步训练的 PPO 模型相比,Astra 生成的网络在 Breakout 游戏中得分是其 20 倍,在 Asterix 游戏中得分接近,在 Seaquest 游戏中得分达到其 60%。



它是如何实现的:Astra 会推断出它希望每个网络执行的程序,并将其转换为神经网络的形式。例如,在打砖块游戏中,Astra 会编写程序让第一层计算小球的落点,然后编写程序让第二层将挡板移动到该位置。
实际应用场景(规模化和工具使用)
目前为止,我们研究的大多数网络的权重都直接符合 Astra 的上下文,因此我们尚未启用相关工具的使用。这样做的目的是为了突出 LLM 本身就具备一定的权重空间解析能力。
从现在开始,我们将努力提升权重空间编程的能力,并考虑更多与现实世界相关的场景,在这些场景中,网络不符合上下文,工具可以帮助LLM理解/编写权重空间。
实验 6 编写 Go 算法
现在我们测试 Astra 在 150 万参数规模下编辑权重的能力,这个规模远远超出了其自身的应用范围。我们指示 Astra 从零开始,无需训练或访问网络,即可为给定的架构(243 → 512 × 6 → 82)生成高性能权重。
在这里,该框架为 Astra 提供了一个 Python 沙箱,它可以在其中读取和保存网络的权重张量(初始值全部为零),并使用 CPU 上的 NumPy 或 PyTorch 对其进行分析,但它无法在沙箱中运行网络。为了了解网络的实际运行情况,它必须执行一次前向传播。
现在,我们也允许 Astra 对网络进行一些前向传播,并测量其生成的网络的保真度如何随允许的前向传播次数而变化。具体来说,我们从 0 次前向传播开始测试,一直测试到 50 次前向传播(每次前向传播包含 128 次滚动更新)。Astra 会在每次前向传播之间穿插编辑操作。
在前向传递次数为 0 的情况下,它战胜了两个规模较小的 PPO 网络(243 → 32 → 32 → 82),胜率超过一半。
在前向传递次数为 50 的情况下,Astra 生成的网络击败了规模相同的、经过 2000 万场比赛训练的 PPO 网络。

它是如何实现的: Astra 使用 Python 编写了一个小型 Go 程序,逐层构建网络。第一层标记双方的棋子及其相邻的空位(自由点),中间层沿着连接的棋子链移动几步,以发现处于危险中的棋子群,最后一层将所有信息转化为每一步棋的得分:吃子、保住己方棋子群、避免陷入困境或自满,以及优先选择棋盘上的有利位置。在不使用前向传递的情况下,它仅用 336 行 Python 代码就完成了所有这些。使用前向传递后,它会进行练习赛,分析失败的原因,修改背后的网络部分,并且只有在获胜次数更多时才会保留修改。
实验7 哪种语言模型是谄媚的?
近年来,理解大型神经网络的行为已成为一个亟待解决的问题。本文旨在探讨通用的LLM是否也能直接用于理解网络的行为。
我们使用完全相同的方式,在同一个 QA 数据集上对 Gemma 3 270M 的两个副本进行微调。 2 其中一个副本经过训练,能够给出正确答案。另一个副本则经过训练,会奉承用户,总是给出用户建议的答案。为了确保 Astra 不会依赖于检查输入/输出分布这种简单的解决方案,我们在微调过程中冻结了输入嵌入和输出层。我们给 Astra 两个副本的权重,并要求它根据这些权重识别出哪个是奉承者,并解释其判断依据。
遗憾的是,仅凭权重,Astra 无法做出判断。在所有四次尝试中,它都识别出了两个模型在权重空间中的诸多差异,但却无法将这些差异映射到行为上的差异。然而,为了放宽实验条件,我们允许 Astra 仅查看注意力模式(每个注意力头的注视点),并将两个模型运行在 Astra 自行生成的文本上(但不查看网络的输出)。在这种情况下,Astra 能够在我们训练的所有三组文本对中识别出谄媚者。
它还能够推断它们之间的差异。在奉承型网络中,中间层的注意力头会为用户建议中的词元赋予更高的权重。
实验 8 改进语言模型的数学能力
最后,我们将规模扩大到更大的语言模型 Qwen3.5-0.8B,并要求 Astra 通过编辑权重来提高其数学推理能力。
我们为 Astra 提供一个类似于实验 6 中的框架,这里是一个 Python 会话(类似于笔记本),其中加载了模型的权重。然后,我们允许它从 GSM8K 和 MATH 的训练集中选择提示,并执行一定数量的前向传播(平均批次为 64 个序列,最多 512 个),并将前向传播的预算分别设置为 10、25 和 50。同样,不允许使用任何训练信息或梯度信息。



因此,Astra 发现并修复了小型推理模型的一个常见缺陷:它们会循环执行。
当基础模型循环运行时,它会重复相同的文本,很少能找到答案(其前96个练习答案中有85个达到了32,768个词元的限制)。Astra追踪到循环是由第15层和第19层的MLP写入的一个方向引起的,并从每个MLP的64个输出列(131,072个权重)中减去了该方向,这与通过从模型权重中删除单个方向来消除某种行为非常相似。
**经过 50 次前向传递后,MATH-500 的准确率从 7.9% 提升至 48.1%,GSM8K 的准确率从 13.8% 提升至 67.1%。**循环并非数学特有的问题,因此数学以外的性能也得到了提升:**用于衡量指令执行能力的 IFEval 准确率从 21.0% 提升至 62.3%。**下表最后一列显示的是 MATH-500 答案达到 32,768 个词符限制的比例:经过 10 次或 25 次前向传递后,循环几乎没有消失,而经过 50 次前向传递后,循环的比例从 93% 下降至 33%。
重要的是,此次修改仅改变了模型8亿个权重中的131,072个(0.016%)。我们相信权重空间规划能够实现这种针对性的修正,而无需重新训练模型。
补充实验 提高不循环模型的数学能力
然而,修复循环并不等同于提升模型的数学能力:它只是让模型完成它原本就能计算出的答案。因此,我们也尝试了 Gemma 3 270M,这是一个经过指令优化的模型,大小约为 Qwen3.5-0.8B 的三分之一,它很少出现循环:只有 8.5% 的答案达到了标记限制,而 Qwen 的这一比例高达 93%。Astra**无法改进 Gemma 的性能。**通过分析 Gemma 的失败结果,Astra 发现了一些常见的推理错误,例如错误的算术运算和无效的代数步骤,但这些错误背后并没有可以关闭的单一组件。Astra 的修改幅度很小且目标明确(例如,将一个对数字做出反应的神经元数量增加一倍),但没有任何修改能让 MATH-500 的得分提升超过 1 分左右,而 Astra 自己也表示这种提升并不显著。修改权重可以移除隐藏能力的障碍,但无法为模型添加其原本缺乏的能力。使用模型卡的设置(温度 1.0,top-k 64,top-p 0.95,最多 8,192 个标记)对 Gemma 进行了采样,其 MATH-500 分数平均每个问题 4 个样本。
背景及相关作品
神经网络对我们来说很难理解,也很难直接操作。
机制可解释性利用专为此目的而设计的工具来读取网络,追踪回路和特征并编辑权重。
LLM 也参与其中,但大多是作为训练用于读取激活值或权重的模型。或者作为单个神经元的解释器并设有基准进行比较。
在写作方面,LLM现在负责运营和改进培训。其他工作则利用为此训练的模型生成权重。无梯度方法仍然通过反复试验来寻找权重。在极小的尺度上,AdderBoard 展示了编码代理手动设置微型变压器的权重。除了这些极少数情况外,要么读者已经接受过相关训练,要么训练过程本身就包含了权重写入。这里的新颖之处在于,它使用了一种通用的前沿模型,可以直接读取和写入权重本身,将以文本形式提供的 171,664 个权重转换为包含 8 亿个权重的语言模型,并配备了相应的工具。
接下来会发生什么?
在本博客中,我们展示了LLM读写神经网络权重的能力日益增强(即权重空间规划这一新兴概念)。我们目前的研究结果表明,LLM的能力令人振奋,但仍存在局限性,尤其是在上下文长度和资源利用方面效率低下。然而,目前的迹象表明,权重空间规划在未来具有巨大的发展潜力。我们相信,这标志着机制可解释性和神经网络优化等领域即将迎来一场重大变革。
这为LLM作为人类语言和权重空间之间的翻译器开辟了全新的可能性。以下是一些示例:
- **无需评估即可进行审计:**这使我们能够在不运行推理或基准测试的情况下发现隐藏的问题或功能。目前,只有在拥有专门设计的测试集的情况下,或者更糟糕的是,在实际部署之后,才能检测到这些功能和漏洞。如果低层逻辑模型 (LLM) 能够准确解读权重空间,我们就可以直接从权重中识别此类问题(例如,后门)。
- **大幅降低优化成本:**权重空间编辑可以节省大量时间和计算资源。例如,一次性模型初始化比整理数据集和运行完整的训练循环要快得多、效率也高得多。
- **零数据能力引导与遗忘:**目前,添加或遗忘一项能力需要大量的数据收集和微调。未来,我们或许只需提示“能否将能力 X 添加到模型中?”,LLM 即可直接调整部分权重。由于这种修改仅涉及少量权重(实验 8 中为 0.016%),因此可以保持模型其余部分不变,避免微调过程中经常出现的灾难性遗忘。
- **递归式自我改进:**如今,递归式自我改进通常被实现为模型编写代码来启动训练任务。而能够检查、调试和改进自身权重或新模型权重的LLM(学习学习模型)则提供了一种更丰富、更自然的实现途径。
- **真正的架构和模型融合:**目前,模型融合依赖于权重平均,但这仅适用于架构相同的模型。而能够理解权重空间的LLM(逻辑学习模型)则可以将一个模型中的电路(例如推理模块)移植到另一个完全不同的模型中,而无需重新训练。
**我们目前正在构建一个基准测试和工具,用于评估LLM在权重空间规划方面的能力。**我们相信这将提供一种标准化的评估方法,以衡量和加速权重空间规划的进展,将目前看似神秘莫测的技术转变为严谨、可复现的工程学科。
日志
我们在github.com/RikiyaT/lm_understand-logs
上发布了所有实验的完整日志。日志包括我们发送给 Astra 的所有内容以及它返回的所有内容(包括推理摘要)、它运行的每一段代码及其输出、它读取或写入的网络,以及每个数值背后的评估结果。实验 8 中修改后的 Qwen3.5-0.8B 模型已发布在
上。我们感谢Hugging Face 的
根据这些日志重建了该模型,重新运行了评估,并制作了
。
致谢
Rikiya感谢
和
就本研究的最初阶段,特别是关于LLMs编写神经网络权重的潜在能力,进行的宝贵讨论。Rikiya还要感谢
、
及其学生,卡内基梅隆大学的
及其学生,以及
的研究人员,感谢他们就早期阶段的研究进行的富有成效的讨论!
Jayden 感谢
早期就 LLM 能够以零样本方式编写神经网络权重进行的讨论,这也影响了本项目的方向。
原文链接: https://rikiyat.github.io/blog/weight-space-programming/ 原文作者:
*
*