9 min read

英伟达花 200亿买下的这家公司,如何重写 AI 推理的规则(一)

Source: http://x.com/i/article/2044006070176362496

引言

2024年2月,一段 AI 演示视频在社媒引发广泛质疑。

视频中,开发者向开源大语言模型输入 Prompts 并按下回车后,数百字的完整回答在不到一秒内瞬间呈现,后台监测显示生成速度接近每秒500个Token。

彼时,以 H100 为代表的英伟达 GPU 在推理时常规速度约为每秒20至40个Token。而且大家也习惯于 GPT 等大模型一行一行输出内容。因此,人们第一反应是,要么预加载了缓存,要么视频被剪辑。

然而,这家名为 Groq 的初创公司随即开放公众 API 测试,数十万用户以海量随机提示词对其发起验证。实时的后台数据给出明确结论,系统确实在以超出 GPU 十余倍的速度生成文本,结果无法造假。

随后该公司公布技术文档,驱动这一性能的并非 GPU,而是一种名为 LPU(Language Processing Unit,语言处理单元)全新芯片架构,由前 Google TPU 核心研发成员 Jonathan Ross 主导设计。

2025年12月,英伟达宣布以约 200亿美元现金收购 Groq 核心技术资产,成为英伟达迄今为止规模最大的一笔交易,远超 2019年以近 70亿美元收购以色列芯片商 Mellanox 的纪录。

双方将其定性为一项非独家技术许可协议,Groq 创始人 Jonathan Ross 及多名核心团队成员随协议加入英伟达,而 Groq 公司本身则以独立形态继续存续,其云服务业务 GroqCloud 也不受影响,正常运营。

英伟达 CEO 黄仁勋在内部邮件中表示,计划将 Groq 的低延迟处理器整合进英伟达 AI 工厂架构,以覆盖更广泛的推理与实时计算场景。

数月后,英伟达便推出 Groq 3 LPX 推理加速器,针对万亿参数模型的单位能耗吞吐量,较 Blackwell NVL72 提升 35倍。

——————————

以 Groq 为代表的 LPU 是专门为推理,特别是 Decode 解码定制的 ASIC,解决 AI 内容生成速度问题,在物理上无法胜任大语言模型的训练任务。

要理解这种速度突破是如何在物理层面实现的,需要深入 LPU 的底层架构逻辑。

LPU 底层逻辑其实与谷歌 TPU 一脉相承。

Jonathan Ross 团队未试图在制程工艺或算力密度上与英伟达正面竞争,而是瞄准大语言模型推理这一特定场景。放弃通用性和单片存储容量,以此换取大模型推理的极致低延迟。

LPU 底层架构核心逻辑主要是以下三方面, 1/ 以片内 SRAM 替代片外 HBM,消除物理传输延迟

GPU 将模型权重存储在 HBM 中,数据必须在 HBM 和计算核心之间反复搬运。

LPU 将模型权重全放入物理上紧贴计算单元的 SRAM 中,彻底移除片外内存接口。由于 SRAM 与计算单元在物理上紧密集成,读取带宽和访问延迟均优于 HBM 数个数量级。

代价是,SRAM 存储密度极低,单颗 LPU 芯片的总容量仅约 230MB,根本无法完整装载现代大语言模型。所以 LPU 必须把几百个芯片连在一起。

2/ 移除硬件动态调度,全靠编译器静态排期

SRAM 面积大、造价高,片上空间极为有限。

为了在有限的硅片上塞入更多 SRAM 和计算单元,LPU 物理上移除了乱序执行、多级缓存控制器和分支预测等复杂的动态调度电路。

所有控制权前置给编译器。

部署前,编译器会预先算好每一次矩阵计算和数据搬运对应的具体时钟周期。运行期间,硬件只执行预设好的静态时序,从根本上排除了缓存未命中和资源竞争带来的延迟波动。

总而言之,LPU 赌定大模型计算没有意外,于是把所有调度工作都推给了软件编译阶段,让硬件变成了一个只会傻跑、但跑得飞快的纯粹计算机器。

3/ 去除网络交换机,用点对点直连构建集群

为了突破单片 230MB 的容量瓶颈,LPU 必须通过多片互联来运行模型得益于上述的“静态编译”,芯片间的数据传输时序同样可被精准预测。

因此,LPU 集群抛弃了会产生不可控延迟的网络交换机,直接采用硬件级线缆进行点对点相连。

模型权重被切分固化在各个芯片的 SRAM 里,计算时张量数据严格按时钟节拍跨芯片流转,使数百颗芯片在逻辑上等效于一颗大处理器。

大模型推理的硬件架构与性能瓶颈

要真正理解 LPU 的设计逻辑,首先要回到一个基础问题。GPU 在大模型推理上,究竟慢在何处。

大语言模型推理过程,在物理层面分为不同的两个阶段。

第一阶段预填充 Prefill,也就是大模型读取用户 Prompts 阶段。

当用户输入一段 Prompts,模型会将这 N 个 Token 视作一个整体,直接执行矩阵乘矩阵 GEMM 运算,完成上下文特征提取,同时写入供后续使用的键值缓存 KV Cache。

这一阶段,模型权重只需从外部内存读取一次,即可被所有输入 Token 并行复用。计算密度高,GPU 的浮点运算单元能被充分调用、系统处于算力受限 Compute-bound 状态,硬件效率良好。

第二阶段解码 Decode,也是用户在屏幕上看到文字逐字出现的阶段。

受自回归机制限制,模型每次只能生成一个 Token。生成该 Token 的核心运算,是用当前单个查询向量,与已缓存的历史 KV Cache 进行计算。

底层运算由此从矩阵乘矩阵 GEMM 退为矩阵乘向量 GEMV。

极大的数据搬运量与极小的实际计算量之间形成了严重的不对称。GPU 的计算核心在绝大部分时间里处于闲置状态。

受制于内存带宽的物理上限,系统陷入内存受限 Memory-bound 状态。这就是大模型实时推理遭遇的核心瓶颈,也就是我们之前文章反复反复反复提到的内存墙。

正是针对解码阶段这一高访存、低计算的固有特征,Jonathan Ross 的团队设计了 LPU 的整套架构逻辑。

————————————

在专业领域,这一瓶颈可以用算术强度 Arithmetic Intensity 加以精确量化。

算术强度的定义为:计算单元执行的总浮点运算次数 FLOPs 与外部存储器数据传输量 Bytes 的比值。

根据 Roofline 屋顶模型,硬件的理论性能极限由峰值算力与峰值内存带宽共同决定,两者之比即为该硬件的驻点 Ridge Point。

Image

当工作负载的算术强度低于驻点时,系统进入内存受限状态,计算核心因持续等待数据而大量闲置;高于驻点时,系统进入算力受限状态,性能上限由计算单元本身决定。

以 70B 参数模型的解码阶段为例:FP16 精度下,完整权重约占 140GB,而生成单个 Token 对应的浮点计算量约为 140G FLOPs,由此得出算术强度仅为 1 至 2 FLOPs/Byte。

而当前主流高端 GPU,如 NVIDIA H100 的硬件驻点通常在 100 至 200 FLOPs/Byte 之间。

意味着在低批处理量的实时推理场景下,解码过程严格受制于 HBM 的数据传输带宽,GPU 内部的张量计算核心 Tensor Cores 绝大部分时间处于空转状态。

————————————

为了缓解 Decode 阶段的算力闲置,GPU 在软件层通常采用批处理 Batching。

也就是,把多个并发请求组合在一起,一次性读取权重,并同时计算多个序列的 Token,底层的运算就能从 GEMV 变回 GEMM,重新提高硬件的计算利用率。

然而问题是,吞吐量与延迟互斥。

先到达的请求必须等待批次填满才能开始计算,单 Token 延迟 TPOT 与首 Token 时间 TTFT 随之上升。在要求极速响应的实时交互场景中,这种由于排队等待造成的延迟是无法接受的。

同时,GPU 基于 SIMT 单指令多线程模型,内部集成了动态指令调度器、乱序执行引擎、缓存一致性等等协议,为应对动态复杂负载情况。

然而,大语言模型计算图在推理时是完全静态确定的,上述机制不仅无法提供显著收益,反而会造成指令抖动和非确定性延迟。

在多卡互联通信中,这种非确定性会进一步累积,影响整体响应时间。

至此,GPU 在大模型实时推理中的局限已不仅是单一的带宽问题,而是一套由硬件架构设计前提所决定的系统性约束。

正是针对这套约束,LPU 从底层架构出发,给出了一条完全不同的解题路径。

下一篇,我们将剖析 LPU 硬件架构,未完待续。