英伟达花 200亿买下的这家公司,如何重写 AI 推理的规则(三)
Source: http://x.com/i/article/2048691689301422080
编译器与软件定义数据流
- 从硬件调度到软件编译
LPU 编译器的核心任务:在编译期规划所有数据移动与指令执行的时间点。 静态资源分配算法与图编译器(Graph Compiler)在张量运算中的应用。
- 网络权重与计算指令的映射
如何在确定性硬件上映射 Transformer 的注意力机制(Attention)与前馈网络(FFN)。 针对特定大模型结构(如 Llama, Mixtral)的执行路径优化。
以下是正文:
LPU 硬件层削减掉的复杂性,全部转移至软件编译器。LPU 编译器不仅仅是将高级语言翻译为机器码的翻译器,而是整个计算集群的全局调度中心。
在 GPU 软件栈如 CUDA 中,编译器主要负责寄存器分配与指令级并行优化,数据何时到达、缓存是否命中、线程何时挂起,均由硬件在运行期动态决定。
LPU 编译器不是传统意义上将高级语言翻译为机器码的工具,而是整个计算集群的全局调度中心,必须在编译期独立解决所有问题。
前馈网络与注意力机制
在现代基于 Transformer 架构的 AI 大模型下,Transformer 架构的每一层由两个串联的计算模块构成:前馈网络(Feed-Forward Network,简称 FFN)与自注意力机制(Self-Attention)。
自注意力机制负责处理多个 Token 之间的上下文关联,那么 FFN 则负责对每一个单独的 Token 进行深度的特征提取与知识加工。
自注意力机制中,每个 Token 的输入向量被线性映射为三个子向量:查询(Query)、键(Key)与值(Value)。
计算时,当前 Token 的 Q 向量与序列中所有历史 Token 的 K 向量进行点积,经 Softmax 归一化后得到注意力分数,再以此为权重对各 Token 的 V 向量加权求和。
这一过程使得任意距离的 Token 直接交换信息,是 Transformer 能够理解长程上下文依赖的根本原因。
当注意力机制完成跨 Token 的信息混合后,每个 Token 的新特征向量被独立送入 FFN。FFN 内部不存在任何跨 Token 的信息交流,对序列中每个位置执行完全相同的矩阵运算。
FFN 在参数规模上占据绝对主导地位。在标准 Transformer 模型中,FFN 的权重矩阵约占模型总参数量的三分之二。这一比例在硬件层面带来直接影响。
在解码阶段,系统每次只处理单个 Token,底层运算从矩阵乘矩阵退化为矩阵乘向量。
为了完成这一个 Token 的极小运算量,硬件必须将占模型体积三分之二的 FFN 权重矩阵从 HBM 完整搬运至计算核心一次。
极大的数据搬运量与极小的实际计算量之间的不对称,使 FFN 成为解码阶段吞噬内存带宽的主要来源。
LPU 的差异化映射策略
针对 Transformer 架构前馈网络与注意力机制的不同,LPU 编译器采取了差异化策略。
前馈网络负责对每一个单独的 Token 进行深度的特征提取与知识加工。,因此计算图高度静态,不存在数据依赖的控制流分支。
编译器将 FFN 的权重矩阵永久固定在靠近算术逻辑单元的 SRAM 存储块中,Token 数据流按固定时钟周期依次流经计算单元,完成矩阵乘法。FFN 的执行效率可接近硬件理论峰值。
注意力机制的编译难度远高于前馈网络,根源在于它的动态性。
解码阶段,模型每生成一个新 Token,就需要将其对应的 K 与 V 向量追加进 KV Cache。这意味着 KV Cache 的体积会随着对话持续增长,直到生成结束。
对于 GPU 而言,这不是问题,HBM 容量充裕,运行时随时可以动态申请内存。但 LPU 的片内 SRAM 在编译完成后,内存布局就已完全固定,硬件在运行期无法临时扩展存储空间。
解决方案是在部署前询问一个关键参数——这个模型最长需要支持多少个 Token 的上下文?
设定上限后,编译器按最坏情况在 SRAM 预留一块固定大小的连续内存池,专门用于存放 KV Cache。
无论实际对话有多短,这块内存都会被锁定,不用于其他用途,以存储资源的浪费,换取运行期的确定性。
注意力机制还涉及另一个编译难点:Softmax 归一化。
Softmax 是一种数学函数,核心作用是将一组任意范围的数(Logits)转化为标准的概率分布,具体是将 Q 和 K 计算出的原始点积得分,转化为加和为 1 的注意力权重比例。
在生成阶段的最后一步,将网络输出的最终向量,转化为词表中几万个 Token 被选为下一个字的生成概率。
Softmax 需要找到一行注意力分数中的最大值并计算总和,将分散在不同计算单元,甚至不同芯片上的中间结果汇总到同一个节点。在 GPU 上,汇总过程由硬件在运行时动态协调。
在 LPU 上,编译器必须提前硬编码每一条数据的传输路径和到达时间,确保所有参与归约的数值在同一个时钟周期抵达指定的计算单元,晚一个周期都不行。
精度与带宽的静态权衡 编译器在数据精度上也承担了本应由运行时动态决策的职责。
注意力分数(Attention Logits)的计算误差容易在层间累积放大,编译器会将这部分运算静态指派给 FP32 精度的计算单元,确保数值稳定。
而前馈网络的权重以及混合专家模型中的专家权重对精度的要求相对宽松,编译器则将这部分数据压缩为 FP8 或块浮点格式存储,在不明显损失模型输出质量的前提下,将权重体积压缩至原来的二分之一乃至四分之一,直接降低每次解码时需要搬运的数据量。
混合专家模型(MoE):确定性执行遭遇动态路由
混合专家模型(如 Mixtral)对 LPU 的确定性执行原则构成了结构性挑战。
MoE 核心思想是,模型内部存在多个并行的专家子网络,每个 Token 在经过路由层时,由一个门控网络决定将其发往哪几个专家处理。
问题在于,这个路由决策依赖于 Token 本身的内容,只有在实际运行到路由层时才能确定。这与 LPU 要求所有数据流向在编译期完全确定的设计原则存在根本冲突。
编译器采用的解决方案称为静态超额配置。不管实际运行时哪个专家会被激活,编译器为所有专家路径都预先分配物理网络带宽和执行时间槽。
如果某个专家在运行时未被选中,硬件会在对应时间槽内传输一批全零数据或执行空操作,以维持整个集群的时序同步不被打乱。
相当于提前订好了所有专家的"席位",无论最终来不来人,座位都要留着。代价是部分硬件资源在运行时处于无效状态,但整个系统的确定性得以保全。
编译期的状态空间爆炸:如何让不可能变为可行
将数百颗芯片、数千亿参数模型的全部调度工作压缩进编译期,意味着编译器需要为一张包含数亿个节点的计算图,找到一个没有任何时钟冲突的完整执行方案。
前文提到,LPU 集群在运行时不做任何动态决策,一切都必须由编译器在事前规划好。
但这里有一个问题,而且是很严重的问题,因为这件事情,理论上根本做不到。
想象一下这个任务。一个 70B 参数的模型,被切碎分布在数百颗芯片上,每颗芯片有自己的存储单元和计算单元,芯片之间通过固定线缆直连。
编译器需要决定哪块数据放在哪颗芯片的哪个存储格里,在第几个时钟周期被读出,沿着哪条线缆传到哪里,在哪个计算单元上和哪个权重相乘,结果再被送往哪里。
而且所有这些决策必须同时成立,不能有任何两路数据在同一时刻抢同一条线路,否则数据直接损坏。
这类问题在计算机科学中有一个专门的名字:NP-Hard。
通俗地说,意思是随着问题规模扩大,求解所需的时间会以指数级爆炸增长,不存在一个通用的高效算法能在合理时间内找到最优解。
如果编译器真的把所有可能的安排方式穷举一遍,寻找完美无冲突的方案,编译一个 70B 模型所需的时间可能以月为单位计算。
所以,LPU 在编译过程中做了妥协和优化。
1)找规律,少干活。 现代大语言模型在结构上高度重复。
以 Llama-3 70B 为例,本质上是把同一个结构单元 Transformer Block 堆叠了 80 次。每一层的网络结构、权重矩阵的尺寸、数据流动的方式,都完全一样。
编译器不需要对这 80 层逐一求解。只需要对其中一层做一次完整的时空调度优化,找到一个合理的安排方案,然后把这份方案原封不动地复制 80 份、依次拼接起来,整个模型的执行计划就完成了。
2)不追求完美,只追求够用。
编译器放弃寻找理论最优解,改为寻找工程上能用的解。
先快速找到一个初步方案,遇到每个调度决策,不回头看,不全盘考虑,找到第一个行得通的选项就先用上。
在此基础上,再局部微调,如果改完之后整体更好就接受,否则大概率回退。如此反复,直到方案达到一个设定的质量标准,比如 ALU 利用率超过 80%,且不存在任何网络死锁。
编译就宣告完成,不再继续搜索更好的方案。找到的结果未必是所有可能方案里最好的那个,但足够好,能用,而且编译时间从数月压缩到了数小时乃至数十分钟。这就够了。
3)积累经验,重复利用。
大模型在底层都是由数量有限的几种标准运算拼凑而成,而且这些运算的矩阵尺寸往往高度集中,比如 4096×4096 的矩阵乘法在几乎所有主流模型里都会出现。
工程团队针对这些高频运算,提前花费大量时间用超级计算机把最优执行方案预先算好,存进一个算子库。
等新模型需要编译时,编译器首先把模型的计算图拆解为一个个子任务,然后去算子库里比对。如果某个子任务和库里已有的方案完全匹配,就直接拿来用,无需重新推导。
投机解码:意外获得的额外加速
把 LPU 的确定性架构用于投机解码,会产生一个在 GPU 上很难复现的系统级优势。
投机解码的思路并不复杂。大模型生成文本时,每次只能生成一个字,必须等上一个字确定了才能生成下一个,天然是串行的。
投机解码的做法是引入一个速度更快但质量稍低的小模型作为"草稿员"。先连续生成好几个候选字,再把这批候选字一次性交给大模型统一审核。
大模型并行验证哪些字是对的,对的直接采用,错的从出错位置重新生成。只要草稿员的命中率足够高,整体输出速度就会明显加快。
这套方案的收益,取决于大模型验证一批候选字的代价有多低。
在 GPU 集群上,模型权重存储在 HBM 中,每次验证都涉及大量数据搬运,代价并不小,收益因此有限。
在 LPU 集群上,模型权重存储在数百颗芯片各自的 SRAM 中,始终在线,随时可读,访问延迟固定在纳秒级别。
验证一批候选 Token 所需的额外代价接近于零。数据就在那里,不需要等待搬运。系统可以在极短时间内完成多步并行验证并连续输出,原本每次只能出一个字的串行瓶颈被有效打破,实际输出速度进一步提升。
这是 LPU 确定性架构在推理加速上的最后一块拼图。不仅解码本身更快,连加速解码的方法也因为架构特性而比在 GPU 上更有效。
附:
英伟达花 200亿买下的这家公司,如何重写 AI 推理的规则(一) https://x.com/GodotSancho/status/2044024077791441015 英伟达花 200亿买下的这家公司,如何重写 AI 推理的规则(二)