3 min read

4x RTX PRO 6000 装机思路

Source: http://x.com/i/article/2036283329889054720

个人本地运行大参数的 LLM 性价比最高的方案是 Mac Studio M3 Ultra 512G 内存,不巧这个配置已经下架了,二手价格被炒的很高。两台或四台 256G 的使用 exo 组成集群也可以,但 M3 Ultra 的 prefill 速度还是太慢,不适合用生成代码的场景。当然如果 M5 Ultra 推出,那就是另一回事了。我甚至还想过买 4 台 M5 Max 128G MacBook 组 exo,但这样性价比就很低了,还不如买 4 台 DGX Spark。

还有一种方案是使用

kt

CPU + GPU 混合推理,买支持 AMX 或 AVX512 的 CPU(最好是双路),搭配 1T+ DDR5 内存,再来两个 RTX 3090 显卡 NVLink 连起来,能够达到的 prefill 和 decode 速度都还不错。

现在流行的开源大参数模型全部都是 MoE 模型(稀疏模型),稀疏模型不吃算力但很吃内存,所以很多人选择以上两种方案。

我为什么选择 4x RTX PRO 6000 Blackwell Workstation:

  1. 性价比其实很高:对比同架构的 RTX 5090,3 倍的显存(还带 ECC),2 倍的价格,算力还高了 5%。对比 A100 80G,显存多了 20%,价格只有一半,架构还领先 2 代。
  2. NVFP4 战未来:原生支持 NVFP4 量化精度,又省显存又快,准确度有时比 FP8 还高。各个推理框架对于 NVFP4 的支持也越来越好。随着 Blackwell 的进一步部署,NVFP4 应该会越来越普及。
  3. 看好稠密模型:Qwen 3.5 27B 稠密模型的表现惊人,并且我喜欢的 Opus 据说也是稠密模型。稀疏模型和稠密模型并不是非黑即白,以后流行的模型可能介于两者之间,即 MoE 模型可能会有更高的“专家激活率”。
  4. 电力限制:日本普通家用插座只支持到 1500W(100V x 15A),空调插座支持到 2500W(125V x 20A),PRO 6000 的峰值功耗是 600W,但可以通过软件限制到 400W,性能只损失 10%。4 个 PRO 6000 加上 CPU 和其他功耗,一个 2000W 的电源正好带的动。
  5. 散热采用双风扇透吹设计,四卡紧靠放在一起也没有散热问题。
  6. 为什么没选 Max-Q 版本:涡轮卡噪音大,保值率低。
  7. 老黄说今年不会发布新的桌面端显卡。

CPU 我选择了 5995WX,原因如下:

  1. 之前已经有了 4 条 DDR4 32G UDIMM 内存,而 5995WX 是支持 DDR4 UDIMM 的最强 CPU。所以我选择再买 4 条相同的内存组成 8 通道 256G。
  2. 64 核 128 线程,Zen3 旗舰,淘宝散片只需 11300 元。
  3. 配套的技嘉 MC62-G40 主板也便宜,2500 元,刚好可以并排插 4 张双槽显卡。

妥协:

  1. CPU 缺乏 AVX512 指令集,只支持到 AVX2,在 kt 混合推理时 CPU 算力严重不足。但 GPU 的算力充足弥补了这一点。
  2. 只有 PCIe 4.0,GPU 通信速度减半,影响张量并行的效率。这个实在没办法,因为想要 PCIe 5.0 基本都需要配合 DDR5 内存,而我现在不想买 DDR5 内存。目前 DDR5 内存价格远高于 DDR4,RDIMM 内存价格又高于 UDIMM。

我选的方案性价比并不高,也不适合所有人,只是我喜欢。

之后等 DDR5 内存价格降下来,把 CPU 换成 9995WX 或双路志强,性能又可以上一个台阶。旧的 CPU、主板、内存折价卖掉,也不心疼。

我装电脑不喜欢配置均衡的水桶机,回想起 2016 年组装的一台总预算 7000 元的电脑,2800 元买了 Dell 4K 显示器,3400 元买了 R9 Nano 显卡,剩下的所有东西 800 元。当时这套配置可以 4K 60Hz 打 DotA2,可爽了。