8 min read

谷歌 TPU 脉动阵列(四):TPU 迭代史与网络拓扑

Source: http://x.com/i/article/2040012168746438657

谷歌 TPU 脉动阵列(一):ASIC——后 GPU 时代的算力战争 https://x.com/GodotSancho/status/2034928628883161478 谷歌 TPU 脉动阵列(二):TPU 的心脏——脉动阵列 https://x.com/GodotSancho/status/2036345859810664668 谷歌 TPU 脉动阵列(三)软件栈——跨越软硬件的鸿沟 https://x.com/GodotSancho/status/2038185079185502624

导言

  • TPU v1:专为推理设计的 8 位整数加速器。 TPU v2/v3:引入高带宽内存 HBM 与浮点运算能力,正式进军模型训练领域。
  • **TPU Pods 与互联技术、**ICI(Inter-Core Interconnect):TPU 芯片之间的定制化高速互联总线。 3D Torus(三维环面)网络拓扑:如何解决大规模集群中的通信延迟与带宽瓶颈。
  • 最新架构解析: TPU v4/v5e/v5p 以及第六代 Trillium 的架构亮点(如光路交换 OCS 技术、稀疏计算优化、液冷散热)。

不得已而为之的架构:TPU 脉动阵列(2013-2014)

2013 年,谷歌将基于深度学习的语音识别模型部署到 Android 时,碰到了一个问题,算力和电力不够用。

彼时谷歌数据中心全部基于 CPU 架构,处理矩阵乘法时,算力密度极低且能耗巨大。10亿安卓用户,每人每天 3分钟,谷歌都承受不了。

2013年谷歌在内部决定研发一种专用计算芯片,在深度学习推理任务上,能效比至少要比 CPU 高出 10 倍。

以 Norman Jouppi 为首的硬件团队对市面上的方案逐一测试,GPU 和 FPGA 都被否决,最终决定自研 ASIC,命名为 TPU(Tensor Processing Unit,张量处理器)。

TPU 是极其激进的选择。GPU 和 FPGA 还保留着一定程度的通用性,而 TPU 几乎彻底放弃通用性。除了矩阵运算,它基本什么都做不了。

设计过程中,团队很快遇到了内存墙问题:片上 SRAM 的带宽,根本喂不饱数以万计的 MAC 乘加单元。

谷歌重新审视计算机体系结构中的空间架构,翻出 1978 年提出的脉动阵列,并以此为核心重构了整个芯片架构。

权重驻留 Weight Stationary 与数据流动

模型在部署时,权重已经训练好,是固定不变的。变化的只有用户不断输入的数据。

芯片内部包含运算单元乘加器 MAC 和存储单元 SRAM。传统冯诺依曼架构,每次运算都要从 SRAM 里把权重和输入数据一起搬过来。这个搬运过程,既慢又耗电。

传统每次运算,要去存储单元 SRAM 把权重和输入同时搬过来。

谷歌工程师设计了一种数据流图:

既然权重不变,就不让它反复搬运。在计算开始前,将模型的权重参数通过 FIFO 队列预先加载,提前分发到阵列中每一个 PE 的本地寄存器里,锁定在那里不动。这就是权重驻留。

用户的输入数据,从阵列一侧推入,每个时钟周期向右移动一步,流经整行的 PE,依次完成乘加运算;计算产生的部分和则同步向下传递,逐行累加,最终从阵列底部流出结果。

整个过程中,每份输入数据只从 SRAM 读取一次,却在阵列内部被复用了 N 次(N 为阵列维度)。对 SRAM 带宽的压力,直接缩减到原来的 1/N。

以 TPU v1 的 256×256 阵列为例,每份输入数据进来一次,就能在内部完成 256 次乘法,SRAM 带宽需求缩减至 1/256。省下来的能耗,全部用来堆砌更多的计算单元,算力密度因此大幅跃升。

阵列规格与指令设计

谷歌将 TPU v1 的阵列规模定为 256×256,共 65,536 个 MAC 单元。这在当时是个极为激进的数字。同期最大的通用处理器内部,算术逻辑单元也不过几百个。

指令集同样高度精简。整个芯片只有几十条指令,其中最核心的只有一条:MatrixMultiply/Convolve。

主控 CPU 通过 PCIe 总线向 TPU 下达这条指令后,TPU 的状态机直接接管,自动控制脉动阵列执行成千上万个周期的流水线运算,控制开销极低。这种协处理器模式,是 TPU 高能效的另一个来源。

谷歌为什么选择脉动阵列?

熟悉我过往文章的朋友,此刻大概会想到我反复提过的那几个字——"不得不做的权衡"。

2014 年,谷歌团队面临的核心挑战不是技术路线之争,而是硬性物理约束。公司高层明确要求,新芯片不能改变现有数据中心的机箱结构和供电系统。

意味着 TPU 必须做成一张"半高半长(HHHL)"的 PCIe 加速卡,因为当时生产网服务器机箱里只剩这点空间。整张板卡的功耗,不能超过 PCIe 插槽能提供的 75W。

要在 75W 功耗下塞进 65,536 个乘加器,微架构必须做到极简。缓存一致性协议砍掉,分支预测砍掉,乱序执行砍掉。最终流片的 TPU,在全速跑矩阵乘法时,主芯片功耗仅 28W,整卡控制在 40W 左右。

指令集的逻辑也一样。TPU 插在 PCIe Gen3 x16 插槽上,理论带宽只有 14GB/s。如果像 CPU 那样每做一次加法就发一条指令,总线瞬间就会被打满。所以整套指令集高度精简。

TPU v1 的极简,是被现实逼出来的,不有什么远见,更谈不上革命性创新和新范式。

TPU 遇到 Transform。偶然,还是必然?

TPU 造好之后,有相当长一段时间跑得并不理想。

原因在于,2017 年以前,自然语言处理领域的主流算法是 RNN 和 LSTM,其逻辑是串行的,必须算完第一个词,才能算第二个。

每次喂给芯片的数据量极小,庞大的脉动阵列大部分时间都在闲置。TPU 的潜力完全没有释放出来。

转折点是 2017 年。谷歌 8 位研究员发表了《Attention Is All You Need》,提出自注意力机制。

这套机制最根本的变化在于,彻底抛弃顺序依赖,不再逐词处理,而是把整段话的所有词同时转化为巨大的 Query、Key、Value 矩阵,然后对这三个矩阵做乘法。

不再一个词一个词地处理,而是把一整段话里的所有词,全部转化为巨大的 Query、Key 和 Value 矩阵。

核心公式在微观指令层面,完完全全就是三次极其规整的大型稠密矩阵乘法,和脉动阵列的计算模式严丝合缝。

Image

这是巧合吗?

2020 年,Google Brain 研究员 Sara Hooker 发表了一篇著名的论文《The Hardware Lottery》,给出一个不同的解读:与其说 TPU 碰巧遇上了自注意力机制,不如说自注意力机制是中了 TPU 的彩票。

在谷歌内部,设计算法的研究员和造芯片的工程师在同一栋楼里工作,喝着同一台饮水机里的水。

2016 至 2017 年,研究员们在苦苦思索如何改进 NLP 模型时,他们清楚地知道自家数据中心插的是什么芯片,也清楚这套硬件的特性,矩阵乘法极快,串行逻辑极慢。

《Attention Is All You Need》这个标题背后,有一句没说出口的话,既然底层硬件只擅长大矩阵乘法,那就把算法里所有串行结构全部扔掉,哪怕用纯数学的矩阵暴力相乘,只要能喂饱脉动阵列,速度就一定比 RNN 快。

算力决定算法的形态。

2014 年,物理限制和成本约束,逼着谷歌选择功能极简、结构死板的脉动阵列。

2017 年,为了迎合这套死板但暴力的底层硬件,研究员们发明了将一切文字转化为矩阵运算的自注意力机制。

到 2026 年的今天,全世界所有的万亿参数大模型,都在沿着这条由硬件框定的轨道运行。

这也是为什么现在所有 AI 芯片厂商,无论是英伟达的 Blackwell 还是谷歌的 Trillium,做的本质上是同一件事。在底层堆叠规模越来越大的矩阵计算单元,去承接规模越来越大的 Transformer 模型。

不是算法选择了硬件,而是硬件,框定了算法能走的路。