12 min read

谷歌 TPU 脉动阵列(五):TPU v4:算力进入光的时代

Source: http://x.com/i/article/2041822672037015552

谷歌 TPU 脉动阵列(一):ASIC——后 GPU 时代的算力战争 https://x.com/GodotSancho/status/2034928628883161478 谷歌 TPU 脉动阵列(二):TPU 的心脏——脉动阵列 https://x.com/GodotSancho/status/2036345859810664668 谷歌 TPU 脉动阵列(三)软件栈——跨越软硬件的鸿沟 https://x.com/GodotSancho/status/2038185079185502624 谷歌 TPU 脉动阵列(四):TPU 迭代史与网络拓扑 https://x.com/GodotSancho/status/2040014012226703785 谷歌 TPU 脉动阵列(五):从 TPU v1 到 TPU v2(2017) https://x.com/GodotSancho/status/2040620637950235075

TPU v4:算力进入光的时代

在谷歌十余年的 TPU 迭代史中,如果以底层范式转移为标准,真正实现质变,并引领当时 AI 硬件工业标准的,只有三代:TPU v1、TPU v2 和 TPU v4。

其余几代,如 v3、v5e/p、v6e,更多是在这三代确立的架构基础上,进行的量变。

2021 年,大模型进入万亿参数时代。

谷歌进一步升级自身 TPU,这次 TPU 以算力集群形式出现,有 4096 颗芯片,用光而不是电来交换数据,算力达到 1.1 ExaFLOPS,即每秒百亿亿次浮点运算。

这就是 TPU v4。

TPU v4 在光电路交换机 OCS 和动态拓扑设计上极其极其极其震撼!!

先来看 TPU v4 单颗芯片迭代。v4 采用 7nm 制程,单颗芯片的 BF16 峰值算力达到 275 TFLOPS,是 TPU v3 的三倍以上。

架构延续 v2 以来的双张量核心设计,每个核心内部的脉动阵列数量从 2 个增加到 4 个,单芯片共 8 个脉动阵列,每个仍为 128×128 维度。

存储方面,单芯片封装 32GB HBM2,内存带宽从 v3 的 900 GB/s 提升至 1.2 TB/s,与算力同步匹配,避免计算单元等数据。

但 TPU v4 真正的突破,不在单芯片,在集群!!!!

SparseCore:处理嵌入表查询

脉动阵列的设计前提是数据连续流入,遇到这种随机访问就会严重停顿,大量计算单元闲置等待。

SparseCore 本质是一个硬件级的乱序内存请求调度器 + 重排缓冲区,把随机打散取回来的碎片数据,按原来的逻辑顺序拼成一块连续矩阵,让后面的脉动阵列完全感知不到稀疏访问的存在。

训练推荐系统模型时,有一类操作叫嵌入表查询,原理类似大模型底层的词嵌入,但场景不同。这些嵌入表动辄几十 GB 甚至 TB 级,存放在 HBM 中,每次访问的内存地址极度随机且不连续。

谷歌在芯片上单独划出一块物理区域,部署 SparseCore。内部集成专用的地址生成单元,能并发向 HBM 发送数百个不连续的地址请求,把返回的零散数据在暂存存储器中重新整理拼接成标准的稠密矩阵块,再交给主脉动阵列处理。

稠密计算和稀疏计算,在物理层面彻底分开,互不干扰。

OCS 光电路交换机:用光交换数据

集群扩展到 4096 颗芯片,通信成了新的瓶颈。

传统方案是电信号交换机,数据在节点间传输时,需要经过多次光电转换和协议解析,带宽受限于交换机的处理能力。

谷歌在 TPU v4 集群中全面引入了光电路交换机 OCS,内部代号 Palomar。

OCS 的核心是两块相对的 MEMS 微反射镜阵列,每块包含 136×136 个微型机械反射镜。数据以光信号进入交换机后,不做任何光电转换,不解析任何包头,OCS 直接通过调整微镜的物理偏转角度,把光束引导到目标端口。

需要改变网络拓扑时,控制系统向指定微镜施加高压,通过压电效应驱动镜片在俯仰和偏航两个方向上发生极微小的物理倾斜,完成光路切换。

整个重构过程在毫秒级完成。镜片锁定后,OCS 本身不再消耗任何额外电能处理数据,带宽上限仅取决于外部光收发器。

这套机制带来了一个此前不存在的能力,动态拓扑重构。

动态拓扑:集群可以按需变形

4096 颗芯片的物理组网分为两层。

机架内部,64 颗芯片通过铜缆硬连线成一个 4×4×4 的三维环形拓扑,通信延迟在纳秒级。机架之间,64 个这样的单元通过光缆接入 OCS 交换矩阵,由编译器动态决定如何拼接。

训练不同模型时,通信模式差异很大。数据并行、张量并行、流水线并行,对网络拓扑的需求各不相同。有了 OCS,编译器可以在毫秒内把底层物理连线从 64×64×1 重新配置成 16×16×16,精确匹配当前模型的并行切分策略,而不需要改动任何硬件。

GSPMD:让开发者只写一台机器的代码

谷歌在 XLA 编译器层引入了 GSPMD(通用单程序多数据)工具。

工程师只需按照单台设备的逻辑编写模型,在权重矩阵上添加切分注解,GSPMD 在编译阶段自动完成剩余的一切。

结语

若文章至此结束,那与普通的 AI 生成文无二。之所以学东西要写出来,而不是看看作罢,是因为写作过程中需要解释名词、衔接逻辑等等,要在自己看懂的基础上,复述出来。

所以,仅是简单复述,跟复制粘贴无异。有思考的写作应当是带着问题的。

这里其实有两个基本问题。介绍英伟达 GPU 的文章会说英伟达很强,介绍谷歌 TPU 的文章会说 TPU 很厉害。那么,评判算力基础设施究竟有没有一个通用标准?

另外,谷歌的 SparseCore、OCS 光电路交换、动态拓扑都很先进,为什么英伟达没有跟进?为什么两家公司的技术路径没有走向同一个方向?

谷歌与英伟达设计哲学:软件定义全局与硬件保障通用

其实这两个问题,有个共同答案——权衡。

英伟达是在 GPU 架构上持续叠加新功能,同时坚决保持对旧代码的向后兼容。

从图形处理器,到通用并行处理器,到内置张量加速单元的异构处理器,再到结合 InfiniBand 的数据中心计算节点。核心权衡是以功耗和芯片面积为代价,换取横向市场的绝对统治力和开发者生态的繁荣。

谷歌的核心权衡是放弃硬件级的灵活性和通用性,依赖垂直整合的编译器堆栈,在高度确定的 AI 负载下追求极限的算力密度与低成本。

所以谷歌会持续寻找导致系统成本上升的物理瓶颈,然后在芯片层面直接解决。从定点协处理器,到支持集群浮点训练的 ASIC,再到集成 SparseCore 和全光路互连的超级计算机。

——————————

权衡分歧的根源,在商业模式。

英伟达是独立芯片供应商,把芯片卖给全球服务器厂商和云服务商。无法控制终端客户的机房环境、网络架构和业务类型,GPU 必须设计成能在任何环境下运行的通用最大公约数。

为此,芯片必须保留大量冗余的控制逻辑和通用接口,这是维持市场垄断地位的必要成本。

谷歌的芯片不对外出售,只出租算力,同时支撑内部的搜索、广告和 YouTube 业务。

谷歌自身掌控了从 TensorFlow/JAX 框架、XLA 编译器、TPU 硅片,一直到数据中心水冷管道和光纤网络的每一个环节,TPU 所处的环境是确定的。

正因如此,谷歌才敢在芯片上砍掉通用控制逻辑,把容错交给系统软件,把路由交给 OCS,在 AI 训练这一单一任务上把系统总成本压到最低。

————————————

动态硬件调度与静态软件编译

英伟达 GPU 采用 SIMT(单指令多线程)架构。

芯片上保留硬件线程调度器、分支预测电路和上下文切换逻辑。大量晶体管面积和功耗用在控制逻辑上,绝对算力密度没有那么高。

收益是极强的通用性,能处理包含大量条件分支和不规则数据依赖的复杂代码。

谷歌 TPU 完全取消了硬件动态调度电路,由 XLA 编译器在编译阶段提前算好每一纳秒的执行序列。

代价是遇到不规则的分支逻辑或动态形状时,流水线会严重停顿,对编译器的静态分析能力极度依赖。

收益是晶体管面积几乎全部投入到乘加器和静态内存,执行过程完全确定,没有线程切换带来的性能抖动。

————————————

同样用于构建算力集群的英伟达 NVLink 与 TPU ICI 逻辑也类似。

NVLink 以极高的晶体管开销和功耗代价,在多卡系统内部努力造出单体 GPU 的体验,具备容错、动态路由和统一内存语义,确保所有不规则的计算负载都能运行。

谷歌 TPU ICI 放弃交换与寻址的通用属性,退化为数据传输管道,通过严格的物理时序和极简的协议,将芯片面积的利用率推向极致,但代价是彻底绑定了 XLA 编译器的静态全局调度能力,仅能处理高度确定性的矩阵代数计算流。

————————————

看起来高大上的 OCS 为什么没有被广泛采用?

因为 OCS 在技术上根本无法处理通用计算中动态变化的数据流量。

通常以太网和 InfiniBand 做的是分组交换。数据被切成小包,交换机内部的 ASIC 在纳秒级读取每个包的包头,实时决定转发路径。无论前一微秒数据发给哪个节点,下一微秒发给另一个节点,交换机都能立刻处理。

OCS 完全不同,不读任何协议头,直接在物理层为两个端口之间建立一条专用光路。要改变通信目标,必须调整内部 MEMS 微镜的物理倾斜角度。这个机械运动需要毫秒级时间,比电信号交换机的纳秒级响应慢了整整一百万倍。

这个差距决定了 OCS 的适用场景极为有限。

通用数据中心处理的流量高度突发、完全不可预测,Web 请求、数据库查询、微服务调用,大量是生命周期极短的小流量,OCS 完全无能为力。

谷歌 TPU 集群的流量特征则截然不同。大模型训练的通信模式高度确定,长达数小时甚至数天的训练周期内,节点之间的数据流向是固定的。

进行梯度同步时,数据以持续的峰值带宽在特定节点间传输,OCS 只需要建立一次光路,就可以让大量数据持续传输,完全避开了切换慢的缺陷。

所以,采用 OCS,还需要满足一个更苛刻的条件:系统必须有一个能预知未来通信需求的中央控制器,且必须与前端编译器深度耦合。

谷歌能做到这一点,是因为 XLA 编译器在编译计算图时,已经精确知道 4096 颗 TPU 在未来哪个时钟周期需要与哪个节点通信。编译器将这份通信计划提前发给 OCS 控制器,控制器下令调整微镜,光路稳定后 TPU 才开始传输数据。

绝大多数企业,包括亚马逊和微软的通用计算区,都没有这种从编译器直接控制到底层光交换硬件的垂直整合能力,因此也就无从使用 OCS。

这也恰恰说明了谷歌生态之强大。

————————————

英伟达和谷歌走的是两条不同的路,各自都有不可替代的优势,也各自承担着对应的代价。

英伟达用通用性换来了生态和市场;谷歌用专用性换来了在特定场景下的极致效率。OCS 不是因为不够好而没有被推广,而是适用条件太苛刻,只有极少数场景能同时满足,流量高度确定、带宽持续占满、且拥有从编译器到硬件的完整控制权。