谷歌 TPU 脉动阵列(五):从 TPU v1 到 TPU v2(2017)
Source: http://x.com/i/article/2040619534114344961
谷歌 TPU 脉动阵列(一):ASIC——后 GPU 时代的算力战争 https://x.com/GodotSancho/status/2034928628883161478 谷歌 TPU 脉动阵列(二):TPU 的心脏——脉动阵列 https://x.com/GodotSancho/status/2036345859810664668 谷歌 TPU 脉动阵列(三)软件栈——跨越软硬件的鸿沟 https://x.com/GodotSancho/status/2038185079185502624 谷歌 TPU 脉动阵列(四):TPU 迭代史与网络拓扑 https://x.com/GodotSancho/status/2040014012226703785
从 TPU v1 到 TPU v2(2017)
2016 年 3 月,AlphaGo 击败李世石,TPU v1 的推理性能令业界震惊,但…只能用于推理,无法用于训练。
原因在于数值精度。深度学习训练的反向传播过程中,梯度数值极小。TPU v1 使用的 8 位整数运算,根本无法表示这些微小数值,直接下溢归零。
这导致了一个极具戏剧性的局面。谷歌拥有全球能效最高的 AI 推理芯片,却仍然需要向竞争对手英伟达采购大量 GPU,才能完成 AlphaGo 以及谷歌翻译、图像识别等内部模型的训练。
谷歌明确认识到,只掌握推理端无法掌控 AI 基础设施,必须在芯片层面实现训练任务的独立加速。
又见内存墙
要在一块芯片上支持 AI 训练,有两个问题。
1)标准 FP32 乘法器占用硅片面积大,堆不了多少计算单元。
2)TPU v1 使用的 DDR3 内存带宽只有 30 GB/s,内部测试已经证明这是限制数据吞吐的最大瓶颈。
于是,前文提到的 bfloat16(BF16)横空出世。 在物理电路层面直接截断 32位浮点数,舍弃 16位尾数。
这个格式保留了 FP32 的指数位宽,动态范围与 FP32 相同,足以支撑训练过程中的梯度计算,同时乘法器的硅片面积大幅缩减。
这也是为什么前文会说,一个内部应急方案,逼着整个行业改了底层路线。
再就是,引入 HBM 高带宽内存。 彻底放弃传统 PCB 走线内存,将高带宽内存与计算裸片封装在同一基板上,内存读取带宽从 30 GB/s 直接跃升至 600 GB/s。
这两个决定,最终催生了 2017 年的 TPU v2。
2017年5月 Google I/O 大会,谷歌正式宣布了第二代TPU(Cloud TPU)规模化部署。脉动阵列的工作重心从单机推理正式转向大规模分布式训练。
TPU v2:从推理到训练集群
微架构重构
TPU v2 从单颗芯片变为两个独立的张量核心,每个核心配置一个 128×128 的脉动阵列,专门执行 BF16 格式的矩阵乘法,合计 32,768 个乘加单元。
但矩阵乘法解决不了训练中的所有计算。反向递归里有一类操作,如激活函数、层归一化,无法转化为矩阵乘法。
为此,每个张量核心旁集成了一个 32位浮点向量处理单元 VPU,专门处理这类非线性操作。脉动阵列负责主干,VPU 负责补充,两者分工明确,整体硬件利用率大幅提升。
片间互连 ICI
单颗芯片算力存在物理上限,训练大模型必须多卡协同。谷歌在芯片边缘硬连线定制网络控制器,即片间互连 ICI。
每颗 TPU v2 原生具备 4 条 ICI 链路,单向带宽 500 Gbps,可直接与其他芯片双向通信,完全绕过主机 CPU 和以太网。
基于 ICI,谷歌将 64 块板卡、共 256 颗 TPU v2 连接,构成 TPU Pod 集群。分布式训练中最核心的求梯度 All-Reduce,直接由 ICI 控制器执行。
整个集群的总算力达到 11.5 PFLOPS,可用内存 4 TB,通信延迟确定且极低。
XLA 编译器
硬件越专用,软件适配的压力就越大。为了让 TensorFlow 构建的计算图能精准映射到高度精简的脉动阵列指令集上,谷歌在 2017 年全面启用了 XLA 加速线性代数编译器。
XLA 做了两件关键的事。
一是算子融合。脉动阵列效率极度依赖连续的矩阵乘法,零散的小操作会严重拖慢吞吐。XLA 在编译阶段通过静态分析,把多个独立的数学操作,比如矩阵乘法、加法、激活函数,合并成一个内核统一执行,减少启动开销。
二是减少内存读写。算子融合后,中间计算结果可以直接留在片上 SRAM 或寄存器中传入下一步,不需要写回 HBM 再重新读取,计算单元的有效活跃时间因此显著提升。
TPU v2 的意义,不只是一颗更强的芯片。
从完全依赖英伟达 GPU,到自主掌控芯片设计、片间互连和编译器的全栈能力,谷歌在 2017 年完成了 AI 算力基础设施的自主闭环。
几个月后,Transformer 架构诞生,大模型时代随之开启。支撑这一切的物理基础,正是 TPU v2 提前搭好的。