放弃通用,走向极致:谷歌 TPU 十年架构演进全解析
Source: http://x.com/i/article/2042522495992094720
ASIC 专用集成电路是为特定任务定制的芯片,比如只会算哈希的比特币矿机。
AI ASIC 逻辑也一样。剔除所有与 AI 计算无关的电路,把芯片面积最大限度地投入到矩阵乘法和片上存储中。
目前,ASIC 已分化为三条主要赛道: 1)云端训练/推理全能型 ASIC
以 Google TPU、AWS Trainium、Azure Maia 为代表,在云端替代 GPU,支撑大规模集群扩展,追求吞吐量和总拥有成本 TCO。
2)极致推理专用 ASIC
以 Groq LPU、Etched Sohu 为代表,放弃通用性和训练能力,把 Transformer 解码的延迟压到物理极限,核心指标是首字生成时间 TTFT。
3)端侧 NPU 以 Apple Neural Engine、Qualcomm Hexagon 为代表,集成于 SoC 中,在极低功耗下完成推理任务,是手机、PC 等终端设备的标配。
谷歌 TPU 脉动阵列(Systolic Array)
摩尔定律在 GPU 时代失效,通用处理器 CPU 和图形处理器 GPU 应对 AI 海量参数大模型面临功耗与内存墙的挑战。
接下来,我们深入 Google TPU 的内部,看看领域专用架构 DSA 设计哲学、核心组件脉动阵列、互联技术,以及支撑系统高效运行的软件编译栈 XLA。
冯·诺依曼架构(von Neumann architecture)
上世纪四十年代,计算机是用硬件编程的。
算一道新题,工程师得在机房里折腾几天,手动拔插线缆、拨动开关,把机器的物理电路重新接一遍,典型代表是 ENIAC。
冯·诺依曼在 1945 年参与 EDVAC 项目时,发表著名的《关于 EDVAC 的报告草案》,提出一个革命性的想法,把程序本身也变成数据存进内存里。
让存储程序与指令、数据同体,让变成只需加载不同软件,就能执行不同任务的通用机器,实现计算过程的完全自动化。换软件,不换硬件,一台计算机能做所有事,通用计算机的概念由此诞生。
在这个架构下,计算机由五个核心部件构成:
1)运算器 ALU:负责加减乘除和逻辑运算。
2)控制器 Control Unit:系统大脑,负责取指令、解码,并协调各部件协同工作。
3)存储器 Memory:统一存放数据和程序代码,即内存。
4)输入设备 Input:键盘、鼠标、传感器等。
5)输出设备 Output:显示器、打印机等。
在现代计算机中,运算器和控制器集成在了一起,也就是 CPU。
冯诺依曼也因此成为现在计算机之父。
冯·诺依曼瓶颈:内存墙 The Memory Wall
内存墙的问题此前在英伟达的文章里提到过,一句话,内存数据传输速度跟不上 GPU/CPU 计算速度。
根源在于冯·诺依曼架构本身。指令和数据共用同一块存储器,CPU 每次运算都得穿过同一条线路去内存取数据,等于通过一条单行道。算得再快,也得排队等数据。
比如 GPU 一秒钟做 100 万次乘法,但内存一秒钟只能送来 10 万个数字时,GPU 剩下 90% 的时间都在闲置。
像 ChatGPT 这样的模型,参数动辄几千亿,每次回答问题都要把这几千亿个数字从内存里搬出来算一遍。如果存在内存墙问题,GPU 算力再高也受限。
某种程度上,AI 芯片的演进史就是一部对抗内存墙的历史。每一次重要的技术升级,归根结底都在回答同一个问题:怎样以更低的能耗、更快的速度,把海量数据送到计算单元面前?
目前解决内存墙问题主要有四种方式:
1)高带宽内存 HBM
我们在英伟达的文章中已涉及。通过堆叠,把多层内存芯片像盖楼一样叠起来,并提供了超宽的数据通道,把原本 CPU 读取数据的单行道扩宽。
2)先进封装 CoWos
台积电主导的技术,全称 Chip-on-Wafer-on-Substrate。思路直接,既然数据传输慢,就把 GPU 和 HBM 的物理距离拉到最近,让数据少跑路。
3)脉动阵列 Systolic Array
谷歌 TPU 的核心设计。让数据在计算单元之间流动复用,一份数据进来之后被反复使用,大幅减少回内存取数据的次数。
4)存算一体 CIM/PIM
目前最激进的方案,直接把计算逻辑搬进存储单元内部,从根本上消灭数据搬运这一步。代价是需要彻底重构底层电路。
前三种技术分别在通道宽度、物理距离和数据复用三个不同维度发力,可以同时集成在一块芯片上,形成叠加优势。
存算一体则是另一条路,需彻底改变更底层的设计。
所以,既然英伟达的芯片也融合了脉动阵列,那谷歌的脉动阵列为什么值得拿出来单独说?
因为脉动阵列在英伟达 GPU 里只是一个组件。还记得英伟达的 Tensor Core 么?以牺牲通用性为代价,换取在矩阵乘法(Matrix Multiply)这一 AI 计算的极致性能。
本质上 Tensor Core 就是小型的脉动阵列。
而脉动阵列对谷歌 TPU,可以说几乎是全部。
GPU 还是需要保持通用性,除了算 AI,还要做科学计算、图形渲染,GPU 内部要保留控制单元、缓存层级和指令调度器等等。
谷歌 TPU 不用顾虑这些,只作为纯粹的矩阵乘法计算器。脉动阵列对 TPU 来说,几乎就是全部。
从微软 CPU 到英伟达 GPU 再到谷歌 TPU,是一路舍弃通用性向 AI 矩阵计算专一性的激进演化。
英伟达做的是在 GPU 通用架构上,叠加脉动阵列 Tensor Core、HBM 和先进封装,能造出适应性最好的 GPU 算力。
谷歌则是进一步舍弃 GPU 的通用性,围绕脉动阵列重构芯片,把 AI 计算能效和成本压缩到极致。
TPU 的心脏:脉动阵列(Systolic Arrays)
2016 年,AlphaGo 对战李世石。第二局第 37 手,执黑的 AlphaGo 落下一颗"五线肩冲"。
一手在人类看来是低级失误的棋。
解说席上,欧洲围棋冠军、九段棋手樊麾愣在那里,不知道该说什么。在腾讯参与直播的中国顶尖棋手古力,一度以为是机器出了故障,或者是 DeepMind 研究员摆棋时落错了位置。
面对这步违背人类常识的棋,后来 Deepmind 团队公布的后台数据,揭示了冷酷的真相。
事后 DeepMind 公布的后台数据揭开真相。
在模拟人类直觉的策略网络里,AlphaGo 计算出一位顶尖职业棋手下出这步棋的概率是万分之一。换句话说,AI 知道人类绝不会走这里。
但在负责全局胜率推演的价值网络里,AlphaGo 向后推演了成千上万种走法,冷冷地得出结论:这个点,胜率最高。
起先,李世石按人类逻辑迅速扩大优势。然而 1小时后,棋子渐渐摆满。第三十七手那颗孤零零的废子,不偏不倚出现在最致命的位置,完美呼应黑棋在其他角落的势力,又切断了白棋向中央突围的希望。
————————————
其实当时,人类普遍不看好 AlphaGo。因为围棋变化太多了。
国际象棋的合法棋局状态约为 10 的 43 次方,可以靠穷举暴力破解。而围棋棋盘是 19 × 19 的网格,合法棋局状态数量大约是 10 的 170 次方。
我们已知宇宙中所有原子的总数加起来,大约也只有 10 的 80 次方。
10 的 170 次方与 10 的 80 次方看起来好像只差了一倍多,对吧?但这是指数。两者实际相差 10的 90次方倍!!!
也就是说,即便把宇宙每一个原子都变成运算单元,从宇宙诞生算到今天,也算不完围棋的所有变化。计算机更不可能依赖穷举和暴力破解。
AlphaGO 的核心是深度神经网络。在训练阶段,谷歌用英伟达 GPU 让 AlphaGo 自我对弈。
比赛时,AlphaGo 做的是推理,利用已有知识,在实战中快速输出结果。而负责快速输出结果的,正是本文主角,谷歌 TPU 脉动阵列。
什么是脉动阵列?
脉动阵列(Systolic Array)理论诞生于 1978 年,由美籍华裔计算机科学家孔祥重(H. T. Kung) 教授与查尔斯·雷瑟尔森(Charles E. Leiserson) 在卡内基梅隆大学共同提出。
这个理论沉寂了将近 40 年。直到深度学习爆发,海量矩阵运算变成刚需,谷歌才重新挖掘出来,成为 TPU 核心。
在冯·诺依曼架构下,计算这一个点需要执行 K 次乘法和 K-1 次加法,并且伴随着至少 2K 次内存读取和 1次内存写入。脉动阵列核心目的,就是在硬件电路上直接实现上述公式的时空展开,让数据动起来,而不是让计算单元去找数据。
数据进入阵列后,像血液流过心脏一样,在计算单元之间依次传递,每流经一个节点就完成一次运算,然后继续往下传,直到走完整行或整列。
数据不用反复回内存报到,在阵列内部就被榨干用尽。这便是脉动阵列的核心思想,数据复用。
这种设计极大地减少了对寄存器和内存的访问次数,从而大幅降低了功耗并提高了计算密度。
—————————————
脉动阵列由成千上万个 PE 处理单元组成。PE 没有任何复杂的控制逻辑,结构极度精简,只做一件事:乘加运算 MAC。
PE 的组成:
1) 权重寄存器 Weight Register: 静态存储权重值,提前加载,不随数据流动。
2)激活值寄存器 Activation Register: 暂存从左侧流入的当前数据。
3)部分和寄存器 Partial Sum Register: 暂存从上方流入的累加值。
4)乘加单元 MAC Unit:在一个时钟周期内完成 输出和 = (激活值 × 权重) + 输入和。
每个 PE 的工作如下:接收左边传来的激活值、接收上方传来的累加和,乘加一次,然后把激活值传给右边的 PE,把累加结果传给下方的 PE。
就这四步,循环往复。简单到极致,也快到极致。
TPU 因此占据两个物理优势。
面积效率(Area Efficiency) 去掉分支预测、图形渲染、指令调度等通用模块后,同样大小的芯片面积,TPU 能塞进去的计算单元远多于 GPU,算力上限在物理层面更高。
能效比(Energy Efficiency) 脉动阵列大幅减少了数据搬运的次数,同等能耗下,TPU 能完成更多计算。
连英伟达得低头的 bfloat16(BF16)
介绍英伟达 A100 时提到过 TF32,一种运算中间格式,截断 FP32 换取计算速度的中间格式。
计算机内部任何数字都由 0 和 1(位/Bit) 组成的。一个浮点数通常由三部分组成:
1)符号位 (Sign)
数字正还是负。
2)指数位 (Exponent)
数字大小范围。
3)尾数位 (Mantissa/Fraction)
数字精度,小数点后有多少位。
常见的如 FP32,用 32位 记录一个数,精确但占空间;FP16,空间减半,速度翻倍,但精度和范围都缩小;FP4 ,极低精度,类似像素画,只能记录非常模糊的数值。
英伟达的 TF32,本质上是把 FP32 的范围和 FP16 的精度拼在一起。符号位 1 bit、指数位 8 bit 沿用 FP32,尾数位 10 bit 对齐 FP16,合计 19 位。
读取时从显存拿标准 FP32 数据,Tensor Core 在硬件层把尾数从 23 位截断到 10 位,完成乘法后再以 FP32 精度做累加,写回显存时还是标准 FP32。
而这套思路,其实是从谷歌的 BF16 借鉴来的。
————————
初代 TPU v1,也就是 AlphaGo 版本,谷歌极其激进,抛弃所有浮点数,强制把模型数值全部转成 INT8。算力爆表,精度却模糊到只能做推理,根本没法用来训练模型。
为了让后续的 TPU v2、v3 以及之后的版本能用来训练大模型。谷歌可以容忍数字不够精确,也就是尾数少,但绝不能容忍数字超出范围装不下,,也就是指数宽。
于是,BF16 诞生了。 1个符号位、8个指数位(和 FP32 一样)、7 个尾数位(砍掉尾数位),加起来刚好也是 16 位。指数范围保住了,精度让了步,训练过程中的数值稳定性得以维持。
BF16 实在太好用了,连谷歌的死对头们都无法拒绝。
英特尔、ARM 乃至英伟达从 A100,全都在自己的芯片里,支持这个谷歌发明的非标准格式。
一个内部应急方案,逼着整个行业改了底层路线。
软件栈:跨越软硬件的鸿沟 (The Software Stack: XLA & Frameworks)
硬件再强,没有软件生态,也不过是一块昂贵的硅片。TPU 能真正跑起来,离不开编译器的支撑。
在进入 XLA 之前,有些基础概念需要先交代清楚——从大模型的底层原理说起。
首先,当前 AI 大模型底层可以理解为给词语附上向量标记,然后计算词与词之间数学关联概率。
附上向量标记学术上称为词嵌入(Word Embedding),计算数学关联性概率,来自谷歌论文提出的注意力机制,是概率分布预测的核心。
计算机读不懂人类文字。模型做的第一件事,是在内部构建一个极其庞大的高维数学空间,把每个词映射成这个空间里的一个坐标点。语义越相近,坐标距离越近。
例如,模型在处理海量数据后会自动发现: V(国王) - V(男人}) + V(女人) ≈ V(女王)
这个阶段,文字符号变成纯粹的几何向量。
——————
现代大模型基于 Transformer 架构,使用自注意力机制计算。输入 Prompts,句子里的每一个词向量,都要和其他所有词向量做矩阵点乘,由此算出一张注意力权重矩阵。
这张矩阵精确记录了在当前语境下,"苹果"有多大概率和"吃"相关,有多大概率和"手机"相关。
词嵌入与注意力计算,是密集的浮点矩阵运算,全部在 TPU 或 GPU 里完成。
经过层层计算,模型会在最后一层输出一个巨大的向量,这个向量的维度与模型的词表大小完全一致。
接着,模型使用 Softmax 函数,将这个巨大的向量转化为一个严格的概率分布。
此时,词表中的每一个词都会被分配一个数学概率:
- “吃” -> 85%
- “买” -> 12%
- “砸” -> 0.01%
模型会根据这个概率分布采样,挑出概率最高或较高的词作为输出。然后将这个新输出的词,加入已知句子中,重新开始下一轮的向量映射和矩阵相乘,循环往复,直到生成代表结束的特殊标记。
每输出一个字,都是一次完整的矩阵运算。这也是为什么推理对算力的消耗如此巨大。
什么是计算图(Computational Graph)?
用学术语言,计算图是一种描述数学运算过程的有向无环图,由两种元素构成:
1)节点: 点:代表操作(如矩阵乘法、激活函数)或变量(如标量、张量)。
2)边: 代表数据流向,即张量在各个节点间的传递路径。
结合之前讲过的 LLM 底层逻辑来看会更直观。
用户输入的 Prompt,经过词嵌入变成张量节点;
模型内部预存的权重矩阵,也是图中的变量节点。两者相遇,产生矩阵乘法节点;
为了计算词与词之间的关联,图上还会有 Softmax 节点。这些操作符节点,最终会被派发给底层硬件,如 GPU 内的 Tensor Core,实际执行运算。
边则负责数据流向。
"苹果"的词嵌入张量沿着有向边流入矩阵乘法节点,与权重结合,生成新的 Query 张量;
Query 张量再沿边流向点乘节点,与 Key 张量完成匹配。数据就这样从第一层一路涌向大模型的最后一层。
————————————
计算图核心存在意义是为了实现自动求导
计算图的核心意义,不在于描述运算过程,而在于让计算机能自动算微积分。
计算机不像人类能一眼看懂一整条长公式。有了计算图,计算机可以从输入节点出发,按拓扑顺序逐层计算,直到得出最终结果,并在内存中缓存每个节点的中间值。这叫前向传播。
更妙的是,图一旦建好,每条前向的边天然对应一条反向的导数路径。计算机可以顺着这些路径反向走回去,直接利用前向传播缓存的中间值,通过矩阵运算自动算出每一个参数的梯度。这就是反向传播。
————————————
AI 在什么情况下需要计算微积分?
推理阶段其实不太需要完整的计算图。计算图真正用途在模型训练阶段。
深度学习的本质,是一个在高维空间里寻找最优解的数学问题。
反复微调网络中数以亿计的权重和偏置,让模型的预测误差不断降低。要知道往哪个方向调整权重才能让误差变小,就必须计算梯度。
而梯度,就是目标函数对各个参数的偏导数,算梯度的过程,就是算微积分的过程。
现代大模型的训练,以人类几千年积累的海量文本为基础,阅读数以亿计的网页和书籍。通过词嵌入,为不同语言符号在坐标系里建立向量标记。
"苹果"总是和"吃""食物"或"手机"同时出现,这些词的向量在空间中彼此靠近。
模型最开始可能会把这些词错误地混在一起,输出"吃苹果手机"这样的结果。系统对照人类文本,发现"吃"和"苹果手机"之间联系很弱,误差随之增大。
AI 沿着计算图反向传播,算出梯度,底层系统再通过微积分,把那些导致错误输出的权重参数压低。
这个过程在 GPU 上重复了数万亿次。大模型就这样,不断试错、算梯度、调参数,用矩阵运算复现人类文本的统计规律,最终给出更优结果。
计算图发明之前计算机如何求导?
2010 年以前,AI 模型结构还相对简单,求导的需求没那么夸张。小规模的可以手工推导,复杂一点的用专门的符号计算软件。
但 2010 年之后,模型拓扑结构急剧复杂:残差连接、多路分支、层数激增、参数量破亿。
TensorFlow、PyTorch 这类 AI 框架需要一套能把网络定义与梯度计算彻底解耦的通用架构。能自动反向求导的计算图,就此成为标配。
其核心算法其实早在 1970 年就已发明,只是等到 AI 爆发才真正走到台前。
为什么把公式拆开,计算机就能求导了?
无论多复杂的数学公式,拆到最底层,都是加减乘除这几种基本运算。而这几种运算的导数规则,是固定的、有限的,可以直接硬编码进框架底层。
将复杂公式拆解后,构成的有向无环图(DAG)中,每一个原子操作的局部导数都是已知且硬编码在框架底层的。
假设代码为:y = a * b + c计算机不是当作一个公式处理,而是将其拆解为:
这样一来,
• 加法的局部导数始终是 1。
• 乘法 V1 = a · b 中,对 a 的偏导数是 b,对 b 的偏导数是 a。
本质上将复杂的解析几何微积分问题,降维成了一个计算机图论遍历问题 + 局部简单四则运算。
计算机通过获取每一个基本的数学指令操作符重载,在后台构建出执行轨迹,进而利用链式法则实现了严谨的、无误差的自动微积分。
TPU 迭代史与网络拓扑
不得已而为之的架构:TPU 脉动阵列(2013-2014)
2013 年,谷歌将基于深度学习的语音识别模型部署到 Android 时,碰到了一个问题,算力和电力不够用。
彼时谷歌数据中心全部基于 CPU 架构,处理矩阵乘法时,算力密度极低且能耗巨大。10亿安卓用户,每人每天 3分钟,谷歌都承受不了。
2013年谷歌在内部决定研发一种专用计算芯片,在深度学习推理任务上,能效比至少要比 CPU 高出 10 倍。
以 Norman Jouppi 为首的硬件团队对市面上的方案逐一测试,GPU 和 FPGA 都被否决,最终决定自研 ASIC,命名为 TPU((Tensor Processing Unit,张量处理器)。
TPU 是极其激进的选择。GPU 和 FPGA 还保留着一定程度的通用性,而 TPU 几乎彻底放弃通用性。除了矩阵运算,它基本什么都做不了。
设计过程中,团队很快遇到了内存墙问题:片上 SRAM 的带宽,根本喂不饱数以万计的 MAC 乘加单元。谷歌重新审视计算机体系结构中的空间架构,翻出 1978 年提出的脉动阵列,并以此为核心重构了整个芯片架构。
权重驻留 Weight Stationary 与数据流动
模型在部署时,权重已经训练好,是固定不变的。变化的只有用户不断输入的数据。
芯片内部包含运算单元乘加器 MAC 和存储单元 SRAM。传统冯诺依曼架构,每次运算都要从 SRAM 里把权重和输入数据一起搬过来。这个搬运过程,既慢又耗电。
传统每次运算,要去存储单元 SRAM 把权重和输入同时搬过来。
谷歌工程师设计了一种数据流图:
既然权重不变,就不让它反复搬运。在计算开始前,将模型的权重参数通过 FIFO 队列预先加载,提前分发到阵列中每一个 PE 的本地寄存器里,锁定在那里不动。这就是权重驻留。
用户的输入数据,从阵列一侧推入,每个时钟周期向右移动一步,流经整行的 PE,依次完成乘加运算;计算产生的部分和则同步向下传递,逐行累加,最终从阵列底部流出结果。
整个过程中,每份输入数据只从 SRAM 读取一次,却在阵列内部被复用了 N 次(N 为阵列维度)。对 SRAM 带宽的压力,直接缩减到原来的 1/N。
以 TPU v1 的 256×256 阵列为例,每份输入数据进来一次,就能在内部完成 256 次乘法,SRAM 带宽需求缩减至 1/256。省下来的能耗,全部用来堆砌更多的计算单元,算力密度因此大幅跃升。
阵列规格与指令设计 谷歌将 TPU v1 的阵列规模定为 256×256,共 65,536 个 MAC 单元。这在当时是个极为激进的数字。同期最大的通用处理器内部,算术逻辑单元也不过几百个。
指令集同样高度精简。整个芯片只有几十条指令,其中最核心的只有一条:MatrixMultiply/Convolve。
主控 CPU 通过 PCIe 总线向 TPU 下达这条指令后,TPU 的状态机直接接管,自动控制脉动阵列执行成千上万个周期的流水线运算,控制开销极低。这种协处理器模式,是 TPU 高能效的另一个来源。
谷歌为什么选择脉动阵列?
熟悉我过往文章的朋友,此刻大概会想到我反复提过的那几个字——"不得不做的权衡"。
2014 年,谷歌团队面临的核心挑战不是技术路线之争,而是硬性物理约束。公司高层明确要求,新芯片不能改变现有数据中心的机箱结构和供电系统。
意味着 TPU 必须做成一张"半高半长(HHHL)"的 PCIe 加速卡,因为当时生产网服务器机箱里只剩这点空间。整张板卡的功耗,不能超过 PCIe 插槽能提供的 75W。
要在 75W 功耗下塞进 65,536 个乘加器,微架构必须做到极简。缓存一致性协议砍掉,分支预测砍掉,乱序执行砍掉。最终流片的 TPU,在全速跑矩阵乘法时,主芯片功耗仅 28W,整卡控制在 40W 左右。
指令集的逻辑也一样。TPU 插在 PCIe Gen3 x16 插槽上,理论带宽只有 14GB/s。如果像 CPU 那样每做一次加法就发一条指令,总线瞬间就会被打满。所以整套指令集高度精简。
TPU v1 的极简,是被现实逼出来的,不有什么远见,更谈不上革命性创新和新范式。
TPU 遇到 Transform。偶然,还是必然?
TPU 造好之后,有相当长一段时间跑得并不理想。
原因在于,2017 年以前,自然语言处理领域的主流算法是 RNN 和 LSTM,其逻辑是串行的,必须算完第一个词,才能算第二个。
每次喂给芯片的数据量极小,庞大的脉动阵列大部分时间都在闲置。TPU 的潜力完全没有释放出来。
转折点是 2017 年。谷歌 8 位研究员发表了《Attention Is All You Need》,提出自注意力机制。
这套机制最根本的变化在于,彻底抛弃顺序依赖,不再逐词处理,而是把整段话的所有词同时转化为巨大的 Query、Key、Value 矩阵,然后对这三个矩阵做乘法。
它不再一个词一个词地处理,而是把一整段话里的所有词,全部转化为巨大的 Query、Key 和 Value 矩阵。
核心公式在微观指令层面,完完全全就是三次极其规整的大型稠密矩阵乘法,和脉动阵列的计算模式严丝合缝。
这是巧合吗?
2020 年,Google Brain 研究员 Sara Hooker 发表了一篇著名的论文《The Hardware Lottery》,给出一个不同的解读:与其说 TPU 碰巧遇上了自注意力机制,不如说自注意力机制是中了 TPU 的彩票。
在谷歌内部,设计算法的研究员和造芯片的工程师在同一栋楼里工作,喝着同一台饮水机里的水。
2016 至 2017 年,研究员们在苦苦思索如何改进 NLP 模型时,他们清楚地知道自家数据中心插的是什么芯片,也清楚这套硬件的特性,矩阵乘法极快,串行逻辑极慢。
《Attention Is All You Need》这个标题背后,有一句没说出口的话,既然底层硬件只擅长大矩阵乘法,那就把算法里所有串行结构全部扔掉,哪怕用纯数学的矩阵暴力相乘,只要能喂饱脉动阵列,速度就一定比 RNN 快。
算力决定算法的形态。
2014 年,物理限制和成本约束,逼着谷歌选择功能极简、结构死板的脉动阵列。
2017 年,为了迎合这套死板但暴力的底层硬件,研究员们发明了将一切文字转化为矩阵运算的自注意力机制。
到 2026 年的今天,全世界所有的万亿参数大模型,都在沿着这条由硬件框定的轨道运行。
这也是为什么现在所有 AI 芯片厂商,无论是英伟达的 Blackwell 还是谷歌的 Trillium,做的本质上是同一件事。在底层堆叠规模越来越大的矩阵计算单元,去承接规模越来越大的 Transformer 模型。
不是算法选择了硬件,而是硬件,框定了算法能走的路。
从 TPU v1 到 TPU v2(2017)
2016 年 3 月,AlphaGo 击败李世石,TPU v1 的推理性能令业界震惊,但…只能用于推理,无法用于训练。
原因在于数值精度。深度学习训练的反向传播过程中,梯度数值极小。TPU v1 使用的 8 位整数运算,根本无法表示这些微小数值,直接下溢归零。
这导致了一个极具戏剧性的局面。谷歌拥有全球能效最高的 AI 推理芯片,却仍然需要向竞争对手英伟达采购大量 GPU,才能完成 AlphaGo 以及谷歌翻译、图像识别等内部模型的训练。
谷歌明确认识到,只掌握推理端无法掌控 AI 基础设施,必须在芯片层面实现训练任务的独立加速。
又见内存墙 要在一块芯片上支持 AI 训练,有两个问题。
1)标准 FP32 乘法器占用硅片面积大,堆不了多少计算单元。
2)TPU v1 使用的 DDR3 内存带宽只有 30 GB/s,内部测试已经证明这是限制数据吞吐的最大瓶颈。
于是,前文提到的 bfloat16(BF16)横空出世。 在物理电路层面直接截断 32位浮点数,舍弃 16位尾数。这个格式保留了 FP32 的指数位宽,动态范围与 FP32 相同,足以支撑训练过程中的梯度计算,同时乘法器的硅片面积大幅缩减。
这也是为什么前文会说,一个内部应急方案,逼着整个行业改了底层路线。
再就是,引入 HBM 高带宽内存。 彻底放弃传统 PCB 走线内存,将高带宽内存与计算裸片封装在同一基板上,内存读取带宽从 30 GB/s 直接跃升至 600 GB/s。
这两个决定,最终催生了 2017 年的 TPU v2。
2017年5月 Google I/O 大会,谷歌正式宣布了第二代TPU(Cloud TPU)规模化部署。脉动阵列的工作重心从单机推理正式转向大规模分布式训练。
TPU v2:从推理到训练集群 微架构重构 TPU v2 从单颗芯片变为两个独立的张量核心,每个核心配置一个 128×128 的脉动阵列,专门执行 BF16 格式的矩阵乘法,合计 32,768 个乘加单元。
但矩阵乘法解决不了训练中的所有计算。反向递归里有一类操作,如激活函数、层归一化,无法转化为矩阵乘法。
为此,每个张量核心旁集成了一个 32位浮点向量处理单元 VPU,专门处理这类非线性操作。脉动阵列负责主干,VPU 负责补充,两者分工明确,整体硬件利用率大幅提升。
片间互连 ICI 单颗芯片算力存在物理上限,训练大模型必须多卡协同。谷歌在芯片边缘硬连线定制网络控制器,即片间互连 ICI。
每颗 TPU v2 原生具备 4 条 ICI 链路,单向带宽 500 Gbps,可直接与其他芯片双向通信,完全绕过主机 CPU 和以太网。
基于 ICI,谷歌将 64 块板卡、共 256 颗 TPU v2 连接,构成 TPU Pod 集群。分布式训练中最核心的求梯度 All-Reduce,直接由 ICI 控制器执行。
整个集群的总算力达到 11.5 PFLOPS,可用内存 4 TB,通信延迟确定且极低。
XLA 编译器 硬件越专用,软件适配的压力就越大。为了让 TensorFlow 构建的计算图能精准映射到高度精简的脉动阵列指令集上,谷歌在 2017 年全面启用了 XLA 加速线性代数编译器。
XLA 做了两件关键的事。
一是算子融合。脉动阵列效率极度依赖连续的矩阵乘法,零散的小操作会严重拖慢吞吐。XLA 在编译阶段通过静态分析,把多个独立的数学操作,比如矩阵乘法、加法、激活函数,合并成一个内核统一执行,减少启动开销。
二是减少内存读写。算子融合后,中间计算结果可以直接留在片上 SRAM 或寄存器中传入下一步,不需要写回 HBM 再重新读取,计算单元的有效活跃时间因此显著提升。
TPU v2 的意义,不只是一颗更强的芯片。
从完全依赖英伟达 GPU,到自主掌控芯片设计、片间互连和编译器的全栈能力,谷歌在 2017 年完成了 AI 算力基础设施的自主闭环。
几个月后,Transformer 架构诞生,大模型时代随之开启。支撑这一切的物理基础,正是 TPU v2 提前搭好的。
TPU v4:算力进入光的时代
在谷歌十余年的 TPU 迭代史中,如果以底层范式转移为标准,真正实现质变,并引领当时 AI 硬件工业标准的,只有三代:TPU v1、TPU v2 和 TPU v4。
其余几代,如 v3、v5e/p、v6e,更多是在这三代确立的架构基础上,进行的量变。
2021 年,大模型进入万亿参数时代。
谷歌进一步升级自身 TPU,这次 TPU 以算力集群形式出现,有 4096 颗芯片,用光而不是电来交换数据,算力达到 1.1 ExaFLOPS,即每秒百亿亿次浮点运算。
这就是 TPU v4。
TPU v4 在光电路交换机 OCS 和动态拓扑设计上极其极其极其震撼!!
先来看 TPU v4 单颗芯片迭代。v4 采用 7nm 制程,单颗芯片的 BF16 峰值算力达到 275 TFLOPS,是 TPU v3 的三倍以上。
架构延续 v2 以来的双张量核心设计,每个核心内部的脉动阵列数量从 2 个增加到 4 个,单芯片共 8 个脉动阵列,每个仍为 128×128 维度。
存储方面,单芯片封装 32GB HBM2,内存带宽从 v3 的 900 GB/s 提升至 1.2 TB/s,与算力同步匹配,避免计算单元等数据。
但 TPU v4 真正的突破,不在单芯片,在集群!!!!
SparseCore:处理嵌入表查询
脉动阵列的设计前提是数据连续流入,遇到这种随机访问就会严重停顿,大量计算单元闲置等待。
SparseCore 本质是一个硬件级的乱序内存请求调度器 + 重排缓冲区,把随机打散取回来的碎片数据,按原来的逻辑顺序拼成一块连续矩阵,让后面的脉动阵列完全感知不到稀疏访问的存在。
训练推荐系统模型时,有一类操作叫嵌入表查询,原理类似大模型底层的词嵌入,但场景不同。这些嵌入表动辄几十 GB 甚至 TB 级,存放在 HBM 中,每次访问的内存地址极度随机且不连续。
谷歌在芯片上单独划出一块物理区域,部署 SparseCore。内部集成专用的地址生成单元,能并发向 HBM 发送数百个不连续的地址请求,把返回的零散数据在暂存存储器中重新整理拼接成标准的稠密矩阵块,再交给主脉动阵列处理。
稠密计算和稀疏计算,在物理层面彻底分开,互不干扰。
OCS 光电路交换机:用光交换数据
集群扩展到 4096 颗芯片,通信成了新的瓶颈。
传统方案是电信号交换机,数据在节点间传输时,需要经过多次光电转换和协议解析,带宽受限于交换机的处理能力。
谷歌在 TPU v4 集群中全面引入了光电路交换机 OCS,内部代号 Palomar。
OCS 的核心是两块相对的 MEMS 微反射镜阵列,每块包含 136×136 个微型机械反射镜。数据以光信号进入交换机后,不做任何光电转换,不解析任何包头,OCS 直接通过调整微镜的物理偏转角度,把光束引导到目标端口。
需要改变网络拓扑时,控制系统向指定微镜施加高压,通过压电效应驱动镜片在俯仰和偏航两个方向上发生极微小的物理倾斜,完成光路切换。
整个重构过程在毫秒级完成。镜片锁定后,OCS 本身不再消耗任何额外电能处理数据,带宽上限仅取决于外部光收发器。
这套机制带来了一个此前不存在的能力,动态拓扑重构。
动态拓扑:集群可以按需变形 4096 颗芯片的物理组网分为两层。
机架内部,64 颗芯片通过铜缆硬连线成一个 4×4×4 的三维环形拓扑,通信延迟在纳秒级。机架之间,64 个这样的单元通过光缆接入 OCS 交换矩阵,由编译器动态决定如何拼接。
训练不同模型时,通信模式差异很大。数据并行、张量并行、流水线并行,对网络拓扑的需求各不相同。有了 OCS,编译器可以在毫秒内把底层物理连线从 64×64×1 重新配置成 16×16×16,精确匹配当前模型的并行切分策略,而不需要改动任何硬件。
GSPMD:让开发者只写一台机器的代码
谷歌在 XLA 编译器层引入了 GSPMD(通用单程序多数据)工具。
工程师只需按照单台设备的逻辑编写模型,在权重矩阵上添加切分注解,GSPMD 在编译阶段自动完成剩余的一切。
————————————
若文章至此结束,那与普通的 AI 生成文无二。之所以学东西要写出来,而不是看看作罢,是因为写作过程中需要解释名词、衔接逻辑等等,要在自己看懂的基础上,复述出来。
所以,仅是简单复述,跟复制粘贴无异。有思考的写作应当是带着问题的。
这里其实有两个基本问题。介绍英伟达 GPU 的文章会说英伟达很强,介绍谷歌 TPU 的文章会说 TPU 很厉害。那么,评判算力基础设施究竟有没有一个通用标准?
另外,谷歌的 SparseCore、OCS 光电路交换、动态拓扑都很先进,为什么英伟达没有跟进?为什么两家公司的技术路径没有走向同一个方向?
谷歌与英伟达设计哲学:软件定义全局与硬件保障通用
其实这两个问题,有个共同答案——权衡。
英伟达是在 GPU 架构上持续叠加新功能,同时坚决保持对旧代码的向后兼容。
从图形处理器,到通用并行处理器,到内置张量加速单元的异构处理器,再到结合 InfiniBand 的数据中心计算节点。核心权衡是以功耗和芯片面积为代价,换取横向市场的绝对统治力和开发者生态的繁荣。
谷歌的核心权衡是放弃硬件级的灵活性和通用性,依赖垂直整合的编译器堆栈,在高度确定的 AI 负载下追求极限的算力密度与低成本。
所以谷歌会持续寻找导致系统成本上升的物理瓶颈,然后在芯片层面直接解决。从定点协处理器,到支持集群浮点训练的 ASIC,再到集成 SparseCore 和全光路互连的超级计算机。
——————————
权衡分歧的根源,在商业模式。
英伟达是独立芯片供应商,把芯片卖给全球服务器厂商和云服务商。无法控制终端客户的机房环境、网络架构和业务类型,GPU 必须设计成能在任何环境下运行的通用最大公约数。
为此,芯片必须保留大量冗余的控制逻辑和通用接口,这是维持市场垄断地位的必要成本。
谷歌的芯片不对外出售,只出租算力,同时支撑内部的搜索、广告和 YouTube 业务。(本文完成后,Claude 母公司 Anthropic 宣布向博通采购谷歌 TPU。)
谷歌自身掌控了从 TensorFlow/JAX 框架、XLA 编译器、TPU 硅片,一直到数据中心水冷管道和光纤网络的每一个环节,TPU 所处的环境是确定的。
正因如此,谷歌才敢在芯片上砍掉通用控制逻辑,把容错交给系统软件,把路由交给 OCS,在 AI 训练这一单一任务上把系统总成本压到最低。
————————————
动态硬件调度与静态软件编译
英伟达 GPU 采用 SIMT(单指令多线程)架构。
芯片上保留硬件线程调度器、分支预测电路和上下文切换逻辑。大量晶体管面积和功耗用在控制逻辑上,绝对算力密度没有那么高。
收益是极强的通用性,能处理包含大量条件分支和不规则数据依赖的复杂代码。
谷歌 TPU 完全取消了硬件动态调度电路,由 XLA 编译器在编译阶段提前算好每一纳秒的执行序列。
代价是遇到不规则的分支逻辑或动态形状时,流水线会严重停顿,对编译器的静态分析能力极度依赖。
收益是晶体管面积几乎全部投入到乘加器和静态内存,执行过程完全确定,没有线程切换带来的性能抖动。
————————————
同样用于构建算力集群的英伟达 NVLink 与 TPU ICI 逻辑也类似。
NVLink 以极高的晶体管开销和功耗代价,在多卡系统内部努力造出单体 GPU 的体验,具备容错、动态路由和统一内存语义,确保所有不规则的计算负载都能运行。
谷歌 TPU ICI 放弃交换与寻址的通用属性,退化为数据传输管道,通过严格的物理时序和极简的协议,将芯片面积的利用率推向极致,但代价是彻底绑定了 XLA 编译器的静态全局调度能力,仅能处理高度确定性的矩阵代数计算流。
————————————
看起来高大上的 OCS 为什么没有被广泛采用?
因为 OCS 在技术上根本无法处理通用计算中动态变化的数据流量。
通常以太网和 InfiniBand 做的是分组交换。数据被切成小包,交换机内部的 ASIC 在纳秒级读取每个包的包头,实时决定转发路径。无论前一微秒数据发给哪个节点,下一微秒发给另一个节点,交换机都能立刻处理。
OCS 完全不同,不读任何协议头,直接在物理层为两个端口之间建立一条专用光路。要改变通信目标,必须调整内部 MEMS 微镜的物理倾斜角度。这个机械运动需要毫秒级时间,比电信号交换机的纳秒级响应慢了整整一百万倍。
这个差距决定了 OCS 的适用场景极为有限。
通用数据中心处理的流量高度突发、完全不可预测,Web 请求、数据库查询、微服务调用,大量是生命周期极短的小流量,OCS 完全无能为力。
谷歌 TPU 集群的流量特征则截然不同。大模型训练的通信模式高度确定,长达数小时甚至数天的训练周期内,节点之间的数据流向是固定的。
进行梯度同步时,数据以持续的峰值带宽在特定节点间传输,OCS 只需要建立一次光路,就可以让大量数据持续传输,完全避开了切换慢的缺陷。
所以,采用 OCS,还需要满足一个更苛刻的条件:系统必须有一个能预知未来通信需求的中央控制器,且必须与前端编译器深度耦合。
谷歌能做到这一点,是因为 XLA 编译器在编译计算图时,已经精确知道 4096 颗 TPU 在未来哪个时钟周期需要与哪个节点通信。编译器将这份通信计划提前发给 OCS 控制器,控制器下令调整微镜,光路稳定后 TPU 才开始传输数据。
绝大多数企业,包括亚马逊和微软的通用计算区,都没有这种从编译器直接控制到底层光交换硬件的垂直整合能力,因此也就无从使用 OCS。
这也恰恰说明了谷歌生态之强大。
————————————
英伟达和谷歌走的是两条不同的路,各自都有不可替代的优势,也各自承担着对应的代价。
英伟达用通用性换来了生态和市场;谷歌用专用性换来了在特定场景下的极致效率。OCS 不是因为不够好而没有被推广,而是适用条件太苛刻,只有极少数场景能同时满足,流量高度确定、带宽持续占满、且拥有从编译器到硬件的完整控制权。