AI Compute Cards Wiki Editorial

"超大规模集群唯一确定的事，就是故障。"Meta 在 Llama 3 405B 训练论文里公布的 54 天故障账单，是目前最详实的万卡集群硬件运维样本。本文以它为底，聊聊 GPU 故障的真实分布、RMA 流程怎么设计、备件池要多大。

一份真实的故障账单​

Meta 用 16384 张 H100 训练 Llama 3 405B，54 天快照期内共发生 466 次任务中断：47 次是固件升级等计划内维护，419 次是意外中断——平均每天近 8 次，约每三小时一次。其中约 78% 归因于确认或疑似的硬件问题，尽管如此，团队仍把有效训练时间保在了 90% 以上，绝大多数故障由自动化系统处置，仅 3 次需要大量人工介入。

中断原因（419 次意外中断）	次数	占比
GPU 本体故障（含 NVLink）	148	30.1%
GPU HBM3 显存故障	72	17.2%
软件缺陷	54	12.9%
交换机与线缆	35	8.4%
计划外主机维护	32	7.6%
GPU SRAM 故障	19	4.5%
CPU、内存、SSD、电源等传统部件	合计不到 20 次	约 4%

结论很清晰：GPU 及其显存是绝对的第一故障源，两者合计占意外中断的近一半；而 CPU 这类传统部件在 54 天里只坏了 2 颗。GPU 承受 700W 高热应力，天然比 CPU 脆弱。

RMA 流程设计：快诊断比快换件更重要​

大集群 RMA 的瓶颈通常不在换件速度，而在定位速度。一个训练任务中断，可能是 GPU、NVLink、网卡、交换机或软件任意一环，逐台人工排查根本来不及。可落地的实践包括：

• 建立自动化诊断流水线：任务中断后，调度器自动拉黑可疑节点，用底层诊断工具跑 GPU 显存、NVLink、带宽压测，几分钟内给出"可复用、需复检、需换件"三级结论；
• 用 ECC 错误率做预测性维护：HBM 出现可纠正 ECC 错误的卡，故障概率显著高于基线，主动下线比等它崩溃成本低得多；
• 警惕静默数据腐蚀（SDC）：算错但不报错的卡最危险，定期跑 SDC 筛查基准，把"会算错的卡"挡在下一个任务之前；
• checkpoint 与快速重启是兜底：Meta 把 checkpoint 写入时间压缩到分钟级，配合 NCCL 飞行记录器快速定位 hang 住的任务，这才撑起了 90% 的有效训练时间。

备件池与厂商 SLA：谈判桌上见真章​

万卡集群的备件策略要按"故障率乘以修复时间"倒推。按公开数据粗算，万卡集群每月坏几十张卡属于正常范围，备件池比例通常在 1% 到 3% 之间，再配供应商的托盘级或整机级换件 SLA。谈判时重点盯三个数字：上门响应时间、备件本地库存深度、批量返修的周转周期。另据业界经验值，返修卡重新上线前必须过一遍完整的老化与 SDC 筛查，否则故障卡回流集群会形成"惯犯"。

写在最后​

给正在扩大集群规模的团队三条建议：第一，从第一天就把故障当常态设计，自动化诊断、自动拉黑、自动重调度是万卡集群的生存底线，人工工单撑不过千卡；第二，建立硬件健康档案，每张卡从上机起记录 ECC、温度与历史故障，RMA 决策基于数据而非感觉；第三，把 RMA SLA 写进采购合同并定期演练，别等坏了才知道厂商的"次日响应"是工作日口径。大模型训练的竞争力，一半在算法，一半在这些不起眼的运维流程里。

对很多运维同学来说，GPU 服务器只是一个"会发烫的黑盒子"。但要排障、扩容、与厂商博弈保修，你得知道盒子里面长什么样。本文以最经典的 8 卡 HGX H100 机型为解剖对象，顺带对照新一代 GB200 机架的变化。

先算一笔功耗账​

一台典型的 8 卡 HGX H100 服务器：8 颗 SXM5 GPU，单卡 TDP 700W，合计 5600W；基板上 4 颗 NVSwitch 交换芯片，每颗功耗在百瓦上下；双路 Xeon 各 350W；再加上 32 条 DDR5 内存、8 块 NVMe、风扇墙，整机满载约 6.5 至 7kW。供电侧通常配 6 个 3000W 钛金电源，3+3 冗余。

部件	数量与规格	功耗估算
GPU（SXM5）	8 颗，单卡 700W	约 5600W
NVSwitch 交换芯片	4 颗，位于 GPU 基板	约 400W
CPU	双路 Xeon Platinum，各 350W	约 700W
内存与存储	32 条 DDR5 加 8 块 NVMe	约 300W
风扇墙与其他	10 把重型 PWM 风扇	约 300W
整机满载	——	约 6.5 至 7kW

供电设计有个容易被忽视的坑：瞬态功耗。GPU 在计算与等待同步之间快速切换，整机功耗可能在毫秒级摆动数千瓦，对机房 PDU 与 UPS 提出远超传统服务器的要求。这也是大规模 GPU 集群频繁触发电网告警的原因之一。

散热与互联：气流的尽头是液冷​

风冷版 8 卡 H100 机型多为 5U 到 8U 机箱，靠从前往后的强制风道加风扇墙压住 7kW 热负荷，进风温度与风扇转速管理直接决定 GPU 是否降频。但工程界已经形成共识：H100 满血运行时液冷冷板是更优解，冷板直接贴合 GPU 与 NVSwitch，机房侧水温一般控制在 25 至 45 摄氏度之间，温水冷还能提高自然冷却时长。

互联是 GPU 服务器区别于普通服务器的核心。8 颗 GPU 通过第四代 NVLink 全互联，再经 4 颗 NVSwitch 实现 any-to-any 高带宽通信，聚合带宽 900GB/s——这是单机 8 卡能当一张"大卡"用的物理基础。网卡配置通常为 8 张 400G ConnectX-7，与 GPU 一一对应，为 Rail-optimized 布线做准备。

管理平面：BMC 是你最好的朋友​

每台机器都有独立于主系统的 BMC（IPMI 或 Redfish 接口），可以不看操作系统就读取 GPU 温度、功耗、风扇转速、电源状态。成熟的 GPU 运维体系应该做到三件事：第一，所有健康指标从 BMC 与 DCGM 双通道采集，交叉验证；第二，电源、风扇、NVSwitch 的告警分级处置，NVSwitch 故障意味着整机 GPU 域降级，必须尽快替换；第三，固件版本（BMC、GPU VBIOS、交换机）纳入统一管理，避免"某台机器固件特别老"这类隐蔽问题。

对照新一代平台：GB200 NVL72 把"服务器"的概念扩展成了整机架——18 个计算托盘加 9 个 NVLink 交换机托盘，GPU 与 NVSwitch 全部上冷板，电源与铜排集中在机架中部。维护单元从"一台机器"变成"一个托盘"，热插拔与漏液检测成了机架级能力。

写在最后​

给运维团队三条落地建议：第一，新机型到货先做功耗与温度画像，记录满载下的功耗曲线与关键点温度，作为后续异常检测的基线；第二，把 NVSwitch 与 HBM 的告警当成最高优先级，它们的故障影响面远大于单卡；第三，与供应商明确托盘级或整机级的备件 SLA，万卡规模下"寄修"节奏根本跟不上故障速度。看懂硬件，才有资格谈自动化运维。

Graphcore 是过去十年最值得研究的 AI 芯片公司之一——不是因为它的成功，而是因为它几乎预见了正确的未来，却倒在了黎明之前。

IPU：为机器智能重新设计的计算机​

Graphcore 2016 年成立于英国布里斯托，核心主张是：机器智能需要一种不同于 GPU 的计算机。其智能处理器（IPU）抛弃了显存分层，把所有计算组织成 1216 个独立处理器核心，全部依赖片上 SRAM 工作，通过大规模并行图计算模型处理神经网络。

产品节点	时间	关键特性
Colossus MK1（GC2）	2019 年	236 亿晶体管，1216 核，125 TFLOPS
Colossus MK2（GC200）	2020 年	7nm，大规模片上 SRAM，IPU-M2000
Bow IPU	2022 年	首款晶圆叠晶圆（Wafer-on-Wafer）3D 封装处理器，性能提升最高 40%
C600 加速卡	2022 年	FP8 560 TFLOPS，主打推理兼顾训练

Bow IPU 是被严重低估的技术成果：通过在计算晶圆上方直接叠一片供电晶圆，Graphcore 在不换工艺的情况下解决了 SRAM 密度与供电问题——这套思路比后来行业热捧的 3D 堆叠整整早了几年。配套的 Poplar 软件栈支持 PyTorch、飞桨等主流框架，公司一度进入腾讯云、金山云等中国平台。

为什么没跑出来​

Graphcore 的困境是生态竞争的经典案例。它面对的不是一颗英伟达芯片，而是 CUDA、软件库、云平台、服务器供应链与客户习惯的完整体系。2020 年其估值达到 27.7 亿美元的峰值，但商业化始终未能起量；2023 年起公司被迫收缩，关闭中国业务（受美国出口管制影响），寻找新融资屡屡受挫。2024 年 7 月 11 日，软银宣布收购 Graphcore，官方未披露价格，据当时媒体报道交易金额约在 5 亿至 6 亿美元之间——低于公司此前从投资人手中募得的总额。

并入软银后的现状​

收购之后，IPU 没有迭代出新一代产品，但公司本身获得了新生。软银的棋局很清晰：手握 Arm（架构）、2025 年 11 月收购的 Ampere（服务器 CPU）与 Graphcore（AI 加速器），组成所谓"硅三位一体"，为其在美国与日本的 AI 数据中心（包括星际之门项目）供应算力。

Graphcore 保留品牌、布里斯托总部与工程团队，公开定位转向"为软银打造下一代完整 AI 技术栈"，涵盖芯片、系统、编译器与基础设施。2025 年，公司宣布十年内在印度投资约 10 亿英镑，在班加罗尔新建工程中心并招聘约 500 名工程师；同年 8 月，联合创始人 Simon Knowles 离职。另据公开报道，2026 年 Meta 从 Graphcore 挖走了部分核心工程师，侧面印证了其人才价值。

小结与启示​

IPU 的故事有三点启示：第一，技术判断正确不等于商业成功，"比 GPU 更适合 AI"的论证打不过"比 CUDA 生态更差"的现实；第二，创业公司融资高企的估值若不能转化为收入，终局往往残酷；第三，被收购不是终点——IPU 的架构遗产与工程团队正以另一种方式参与 AI 基础设施的竞争。对关注 AI 芯片格局的读者来说，Graphcore 值得持续观察：它在软银体系内的下一步产品，可能决定这次收购是抄底还是止损。

AI 让数据中心从"用电大户"变成"用电黑洞"，也让能耗指标从后台运维参数变成项目生死线。PUE、水效、绿电比例——这本越来越厚的碳账本，正在改写全球算力的地理分布。

PUE 红线：全球趋严的硬约束​

能效指标 PUE（数据中心总能耗与 IT 设备能耗之比，越接近 1 越高效）已经从推荐值变成准入门槛：

政策	核心要求	时间
中国《数据中心绿色低碳发展专项行动计划》	全国平均 PUE 降至 1.5 以内；新建大型与超大型降至 1.25；国家枢纽节点不高于 1.2	2025 年底
中国部分地区要求	北京等地新建、扩建数据中心 PUE 上限低至 1.15 至 1.3，能耗规模越大要求越严	2023 年起
德国《能源效率法》	新投运数据中心 PUE 不高于 1.2	2026 年 7 月起
欧盟能效指令	500kW 以上数据中心逐年报告 PUE、水效与可再生能源比例，能效评级体系已启动	持续推进

欧盟正在从"报数据"走向"定门槛"：2026 年 9 月，欧委会启动数据中心能效评级，未来最低性能标准预计将为行业留出数年达标期，避免在建项目迅速过时。中国则是少数把能耗作为项目审批前置条件并写入强制性国标的国家——2021 年实施的《数据中心能效限定值及能效等级》将 PUE 1.5 设为能效限定值，2026 年"算电协同"更被写入政府工作报告，绿电直供与源网荷储一体化成为新基建的明确方向。

从 PUE 到全维度碳账本​

单一 PUE 已不足以刻画 AI 数据中心的资源足迹。ISO/IEC 30134 系列标准建立起了多维评价体系：

• WUE（水利用效率）：中国进一步按水源类型加权折算出评价值，最严的一级标准要求不高于 0.8 升每千瓦时；
• REF（可再生能源系数）与 CUE（碳利用效率）：把绿电消纳与碳排放纳入统一框架；
• 绿电硬约束：据公开报道，中国八大"东数西算"枢纽节点新建与扩建数据中心的绿电消费比例须达到八成，以绿证核算并实行一票否决，未达标项目不予能耗审批。

技术上，液冷是压低 PUE 的主力：冷板式方案可将 PUE 降至约 1.15，浸没式可压到 1.05 以下，国内厂商的相变浸没方案据称最低可达 1.035。英伟达 GB 系列及之后的产品已全面采用液冷架构——当 PUE 的分子端（制冷开销）被压缩到一成以内，单靠设施侧优化能做的已经不多。

绿电与选址：碳账本决定算力地图​

设施侧逼近极限之后，碳账本的下一页翻向电力来源。国际市场上，谷歌、微软等巨头与核电、水电、燃料电池供应商签订大规模长期购电协议，把电力保障前置为战略资源。中国西部枢纽节点的绿电直供电价据报低至每度 0.28 至 0.36 元，叠加"东数西算"的土地与能耗指标优势，构成东部需求与西部绿电的双赢闭环，同时也消化了风电光伏的弃电难题。选址逻辑由此彻底改写：算力跟着便宜且干净的电走，而不是反过来。

结语：把碳算清楚，才能把算力建起来​

绿色算力的本质，是给每一枚 token 定价时不回避其能耗与排放成本。对从业者而言，三个趋势已经确定：PUE 优化将逼近 1.1 的工程极限，此后竞争转向电力来源与余热利用；能耗与水耗指标将深度嵌入项目审批与融资定价；跨国部署必须同时满足多套监管口径。算力建设的竞争，正在从"建得快"转向"建得绿、建得起、批得下"——碳账本上的每一行，都是下一座 AI 工厂的选址依据。

在 Vera Rubin 平台的"七芯片堆栈"中，第七颗芯片的来路最为特殊——它不是 NVIDIA 自研的 GPU 或 CPU，而是被收购的 Groq 3 LPX。这颗专为智能体解码阶段设计的低延迟推理加速器，以 256 颗 LPU、128GB 聚合 SRAM、40 PB/s 带宽的机架形态，与 Vera Rubin NVL72 并列部署。NVIDIA 宣称其在万亿参数模型场景下每兆瓦吞吐较 Blackwell 高 35 倍。一家以通用 GPU 垄断市场的公司，为何要为"非 GPU"在自家参考架构中留下正式位置？

收购时间线：从投资到全资整合​

根据站内 NVIDIA Groq 3 LPX 芯片卡，整合过程分四步走：

事件	时间	详情
首次投资	2025-12	NVIDIA 向 Groq 投资 2.5 亿美元
全资收购	2026-Q1	NVIDIA 全资收购 Groq（约 200 亿美元）
产品整合	2026 H2	Groq 3 LPU 更名为 NVIDIA Groq 3 LPX
平台纳入	2026 H2	LPX 机架作为 Rubin GPU 的协同机架（companion rack）

2026 年 8 月的 Hot Chips 2026 上，NVIDIA 以《Think Fast: LPU Accelerator for Heterogeneous Compute》为题首次将 LPU 纳入自家参考架构的正式叙事。这在 NVIDIA 历史上极为罕见——过去三十年，NVIDIA 的架构故事里从未给"非 GPU"留下过席位。

LPX 机架规格：SRAM 的极致堆料​

站内卡与 Hot Chips 披露的规格汇总如下：

项目	单 LPU	LPX 机架（256 颗）
片上 SRAM	500 MB	128 GB 聚合
SRAM 带宽	150 TB/s	40 PB/s
机架互联	GroqSync 1 TB/s	640 TB/s
机架算力	—	315 PFLOPS
TDP	~300 W	~80 kW
实测（Gemma 4 31B）	—	单用户 3,431 token/s

最刺眼的是那组带宽对比：40 PB/s 的片上 SRAM 聚合带宽约为单颗 H100 HBM 带宽（3.35 TB/s）的 5,000 倍。LPU 完全放弃 HBM——模型权重经 Weight Streaming 灌入超大 SRAM，所有解码计算在纳秒级延迟的片上内存中完成。Hot Chips 实测数据显示，Gemma 4 31B 单用户吞吐达 3,431 token/s；运行 DeepSeek V3 级别的万亿参数模型约需 5 个机架。架构层面还有一个工程细节：FPGA 桥接同步域与异步域，投机解码只替换 draft token，保证确定性低延迟不被破坏。

为什么智能体负载需要 LPX​

Agentic AI 的负载特征与聊天机器人截然不同。一个智能体执行任务时动辄发起上百次模型调用——规划、工具选择、结果校验层层嵌套，且调用之间存在串行依赖，前一步的解码不结束，后一步的请求就不会发出。这意味着：

• decode 阶段是纯粹 memory-bound：每生成一个 token 都要完整读取一遍模型权重与 KV Cache，算力大量闲置，瓶颈在内存带宽与延迟；
• 延迟是体验与成本的双重货币：单次调用多花 100ms，乘以链式调用的次数就是秒级的体验劣化与集群吞吐的坍缩。

NVIDIA 官方数据给出了量化的答案：LPX 机架 TTFT（首 token 延迟）小于 20ms、TPOT（单 token 延迟）小于 5ms，而 H100 分别约 200ms 与 30ms。对于每秒上千次调用的智能体场景，这不是"更快一点"，而是"可用与不可用"的区别。

SRAM vs HBM：一场精确的架构取舍​

LPX 的 SRAM-only 路线并非全面超越，而是一次方向性取舍：

维度	SRAM（LPX）	HBM（GPU）
延迟	纳秒级	微秒级
带宽密度	极高（40 PB/s/机架）	高（TB/s 级/芯片）
容量	小（单芯 500MB）	大（单卡 141-288GB）
成本/位	高	相对低
适用负载	decode、低延迟小模型	prefill、训练、大容量模型

SRAM 容量小是硬伤——万亿参数模型必须靠 Weight Streaming 与多机架协同，5 个机架跑一个 DeepSeek V3 级模型的配置成本绝非小客户所能承受。但它换来了 HBM 永远给不了的确定性与带宽密度。这不是孰优孰劣的问题，而是两种负载物理特性驱动的必然分工。

异构分工新范式：GPU 管 prefill、LPU 管 decode​

LPX 与 Vera Rubin NVL72 并列部署（companion rack）的设计，确立了"训练用 GPU、prefill 用 GPU、decode 用 LPU"的异构分工范式：

1. 训练：Rubin GPU，吃算力与互联扩展性；
2. prefill（首 token 生成前的上下文处理）：Rubin GPU，并行度极高，吃算力；
3. decode（逐 token 生成）：LPX 机架，串行依赖、memory-bound，吃带宽与延迟。

这就是"每 token 经济学"推导出的结论：prefill 吃算力，decode 吃带宽，用不同架构分别解决，总成本更低。NVIDIA 借此完成了从"一颗 GPU 卖所有场景"到"全场景算力矩阵"的进化——训练、通用推理、极致低延迟推理，一个平台全覆盖。

独立 LPU 市场的终结与同源逻辑​

NVIDIA 买下 Groq，另一个层面的影响同样深远：独立 LPU 市场事实上终结了。曾经 Groq 是"推理专用芯片挑战 NVIDIA"的旗帜，如今旗帜归入了对方阵营。市场上仍坚持独立路线的推理架构玩家，呈现出耐人寻味的同源逻辑：

• d-Matrix：数字 SRAM 推理芯片，接受 NVIDIA 入股；
• Cerebras：晶圆级 SRAM（44GB 片上），与 OpenAI 签署 100 亿美元电力协议；
• LPX（Groq）：SRAM-only LPU，已被 NVIDIA 收编。

三者殊途同归——都判断"内存贴近计算、SRAM 替代 HBM"是推理场景的最优解。区别只在商业化路径：被收购、被投资、硬刚。当架构共识已经形成，竞争的焦点就从"方向对不对"转向"谁能耗到最终局"。

小结​

Groq 3 LPX 并入 Rubin 平台，标记了智能体推理基础设施的范式转折：decode 阶段被正式承认为一种独立的负载类型，需要独立的架构来解决。LPX 机架用 256 颗 LPU、128GB SRAM、40 PB/s 带宽和 35 倍每兆瓦吞吐，把"最后一公里"的解码延迟压到了毫秒以下；而 companion rack 的部署形态则确立了 GPU 与 LPU 异构分工的新范式。对采购者，评估 AI 集群时需要开始区分 prefill 与 decode 的算力配置；对行业观察者，NVIDIA 吞下 Groq 之后，独立推理芯片阵营的每一步——d-Matrix 的选择、Cerebras 的坚持——都值得放在"SRAM 共识"的框架下重新审视。

2026 年的数据中心里，Hopper 一代与 Blackwell 一代正在同柜共存。买 H100 还是 H200，上不上 B200，不再只是"买新不买旧"的问题，而是一道涉及电价、液冷改造和 token 成本的核算题。

三张规格表：看清代际差异在哪​

从 H100 到 H200，提升几乎全部来自内存子系统；从 H200 到 B200，则是一次架构层面的全面换代：新 Tensor Core、双 Die 封装、FP4 精度、NVLink 带宽翻倍。三款芯片的关键规格如下（Tensor 数据均为稀疏口径，稠密值减半）：

规格	H100 SXM	H200 SXM	B200
架构	Hopper	Hopper	Blackwell（双 Die）
显存	80GB HBM3	141GB HBM3e	192GB HBM3e（软件可见约 180GB）
显存带宽	3.35TB/s	4.8TB/s	8TB/s
BF16 Tensor	1,979 TFLOPS	1,979 TFLOPS	约 2,250 TFLOPS
FP8 Tensor	3,958 TFLOPS	3,958 TFLOPS	约 4,500 TFLOPS
FP4 Tensor	不支持	不支持	约 20,000 TFLOPS
最大 TDP	700W	700W	1,000W
NVLink	900GB/s（第 4 代）	900GB/s（第 4 代）	1.8TB/s（第 5 代）

三点值得展开。第一，H100 与 H200 算力相同，H200 的收益完全由显存兑现：MLPerf 上 Llama 2 70B 推理吞吐接近 2 倍，训练实测提速通常在 1.1 至 1.4 倍之间，且越依赖大 batch、大上下文收益越明显。第二，B200 的 FP4 峰值是 Hopper 的约 5 倍，这是为推理时代设计的精度档位；跑传统 FP16/FP8 训练时，代际差距收窄到约 1.3 至 2.3 倍。第三，B200 的 1.8TB/s NVLink 与 1,000W 功耗，让它事实上被锁定在 HGX/DGX 的 SXM 体系里，几乎没有 PCIe 版本。

整机采购：价格与基础设施门槛​

据公开报道与市场行情，8 卡整机的大致采购区间如下：

整机（8 卡）	参考价格区间	供电与散热	适配场景
HGX H100	20 万至 30 万美元	风冷为主	训练微调通吃，生态最成熟
HGX H200	约 26 万美元起	风冷为主	70B 级推理与训练，长上下文
HGX B200	25 万至 40 万美元	部分机型需要液冷或混合散热	FP4 推理、大规模微调

基础设施是隐性成本。B200 整机功耗接近 10kW 级，对机柜供电密度提出要求；而更上层的 GB200 NVL72 则强制液冷，风冷机房改造动辄每兆瓦数百万美元。反过来，H100/H200 的风冷兼容性成为存量机房升级路径上最平滑的一步。云租赁价格也在同步下沉：H200 实例价格已明显低于发布初期，B200 实例则在各大云上快速铺开。

分场景采购建议​

大规模训练：优先 B200。NVLink 带宽翻倍直接影响张量并行与专家并行的通信效率，FP8 与 FP4 的混合精度路径也更完整。预算受限或机型紧张时，H200 训练 70B 级模型依然够用。

生产推理：这是 H200 的主场。单卡 141GB 装下 70B 模型免并行，每百万 token 成本往往低于 B200；除非你的业务跑在 FP4 量化模型或超长上下文上，B200 的算力溢价才会真正兑现。

微调与中小模型：H100 的性价比此时最高。模型装得进 80GB 时，H200 的多余显存帮不上忙，为带宽多付的钱买不到对应收益。

小结​

三代芯片的关系不是替换，而是分层：H100 是性价比与生态底座，H200 是推理性价比的甜点，B200 是 FP4 时代的算力上限。2026 年采购的正确姿势是先问三个问题——模型多大、机房能供多少电、预算按 token 还是按整机核算——答案自然会把你引向其中一张规格表。

大模型参数每 18 个月翻一番，GPU 算力每代翻 3-5 倍，而真正卡住 AI 芯片脖子的，往往是那圈贴在 GPU 旁边的"小方块"——HBM 高带宽显存。2026 年，HBM4 进入全面量产，HBM4E 已在路上，本文带你一次读懂四代演进的技术脉络。

HBM 是什么：把内存"竖起来"的 3D 堆栈​

传统 GDDR 显存颗粒是平铺在 PCB 上的，走线长、寄生电感大，带宽天花板低。HBM（High Bandwidth Memory）的思路完全不同：

• 3D 堆栈：把 8 层甚至 12 层 DRAM 裸片垂直叠在一起，通过**微凸点（micro-bump）**层间互连；
• TSV 硅通孔：每层裸片打穿硅片形成垂直通路，让堆栈内部各层共享一条超宽的总线；
• 与 GPU 同封装：HBM 不再焊接在主板上，而是作为独立堆栈放在 GPU 同一个封装内，通过**硅中介层（interposer）**与 GPU 的 die 相连，走线距离从几十毫米缩短到毫米级。

这三件事叠加的结果是：接口位宽可以从 GDDR 的 32bit/颗粒跃升到每堆栈 1024bit 甚至 2048bit，带宽提升十倍以上。代价则是制造难度极高——TSV、堆叠键合、中介层封装每一环都是良率杀手。

四代 HBM 关键参数对比​

代际	接口位宽	单堆栈带宽	单堆栈容量	典型层数	代表产品
HBM2e	1024bit	~460 GB/s	16-24 GB	8 层	H200、昇腾 910C
HBM3	1024bit	~819 GB/s	24 GB	8-12 层	H100
HBM3e	1024bit	~1.15-1.2 TB/s	24-36 GB	8-12 层	B200、MI355X
HBM4/4E	2048bit	2-2.8+ TB/s	36 GB 起	12-16 层	Rubin R200、MI455X

以站内芯片卡的数据为参照：NVIDIA B200（Blackwell）配备 192GB HBM3e，带宽 8 TB/s；到 Rubin R200，8 颗 HBM4 堆栈带来 288GB 容量与 22 TB/s 带宽，带宽提升 2.75 倍。AMD MI455X 更激进，12 颗 36GB HBM4 堆栈做到 432GB / 23.3 TB/s。SK 海力士的 12 层 HBM4 单堆栈规格为 36GB、2.8 TB/s、11 Gbps 引脚速率，已于 2026 年 7 月量产出货。

为什么 2048bit 接口是分水岭​

前三代 HBM 一直沿用 1024bit 接口，性能提升主要靠拉高引脚速率。这条路在 HBM3e 时代已经接近极限——信号完整性与功耗随速率平方增长，继续提速性价比骤降。

HBM4 做了一个根本性改动：接口位宽翻倍到 2048bit，而引脚速率只温和提升。以 Rubin R200 为例，单堆栈 2048bit 接口配合约 10.8 GT/pin 的引脚速率，即可得到约 2.7-2.8 TB/s 的堆栈带宽（与 SK 海力士单堆栈 2.8 TB/s 的规格吻合），8 颗堆栈合计正是 22 TB/s 的总带宽。SK 海力士单堆栈 2.8 TB/s 的成绩同样是"宽接口 + 适中速率"的结果。

位宽翻倍的意义在于：同样的数据量，需要的引脚速率更低、功耗更低、信号更稳。但它也带来新问题——堆栈与 GPU 之间的中介层走线密度翻倍，封装难度和成本水涨船高。HBM4 的竞争，本质上是封装能力的竞争。

HBM4E、12 层堆栈与 zHBM 展望​

HBM4 的下一步是 HBM4E（Enhanced）：

• 容量继续堆高：16 层堆栈将成为 HBM4E 主流，单堆栈容量迈向 48GB；
• 速率再上台阶：引脚速率从 HBM4 的 10+ Gbps 提升到 13-15 Gbps 区间；
• 三星入局：三星的 HBM4E 已通过 NVIDIA 验证，HBM 市场从 SK 海力士一家独大走向三强分食；
• zHBM 路线：三星还公布了 zHBM 概念——在 HBM 堆栈底部集成逻辑 die（Base Logic 加速器），把部分计算下沉到显存侧，探索"存算一体"式的近存计算，瞄准 HBM4E 之后的时代。

对整机厂而言，HBM4E 意味着单机柜显存总量再上台阶：Rubin 时代的 Vera Rubin NVL72 已有 20.7TB 总显存，Helios 机架（72 颗 MI455X）达 31TB，下一代翻倍几乎是定局。

HBM 定价权：三巨头最强时刻与国产涨价潮​

2026 年是 HBM 厂商十年来话语权最强的时刻：

• 供不应求：三星、SK 海力士、美光的 HBM 产能已被预订到 2029 年，三大原厂议价能力空前；
• 成本传导：HBM 占 AI GPU 物料成本的比例从上一代的约 8% 攀升到 20% 以上，显存涨价直接推高整机价格；
• 国产涨价潮：外部 HBM 紧缺叠加国产需求爆发，昇腾系列报价显著上涨——昇腾 950PR 从年初约 6 万元涨破 8 万元（+30%），昇腾 950DT 指示性报价超过 25 万元，两个月内涨幅最高 50%。

涨价潮的根源不在芯片本身，而在 HBM：谁掌握显存供给，谁就掌握 AI 芯片的出货上限。

两条突围路线：自研 HBM 与定制 HBM​

面对 HBM 瓶颈，产业界走出两条不同的路：

路线一：自研 HBM（华为）。 昇腾 950 系列首次采用华为自研 HBM——950PR 使用成本优先的 HiBL 1.0（128GB、1.6 TB/s），950DT 使用带宽优先的 HiZQ 2.0（144GB、4 TB/s），彻底摆脱对 SK 海力士和三星的依赖。自研 HBM 未必追求绝对性能领先，但解决了供应链"卡脖子"这一生死问题。

路线二：定制 HBM（NVIDIA）。 NVIDIA 推动与显存原厂合作开发 NVHBM——定制化堆栈，把 GPU 需要的接口逻辑直接做进 HBM 底部逻辑层，进一步压缩延迟、提高集成度。定制化意味着 GPU 厂商深度介入显存设计，原厂从"卖颗粒"升级为"卖方案"。

自研是供应链安全的答案，定制是性能极致的答案，两者将长期并存。

小结​

四代 HBM 的演进主线非常清晰：HBM2e 到 HBM3e 在 1024bit 接口内"榨"速率，HBM4 用 2048bit 宽接口换回功耗与信号余量，HBM4E 与 zHBM 则在容量和架构上继续突破。显存已经从 GPU 的配角变成 AI 产业的核心资源——它决定带宽、决定成本、决定出货量，甚至决定各国 AI 算力的自主程度。看懂 HBM，才算真正看懂 AI 芯片的账本。

当 HBM4 在 2026 年刚刚完成从标准品到量产品的转身，三大存储原厂已经把战场推向了 HBM4E 与 HBM5。这一次，比拼的不再只是堆叠层数与带宽，而是谁能把更多逻辑塞进基础裸片——存储与计算的分界线，正在被定制化浪潮重新划定。

三大原厂的 HBM4E 时间表​

据韩国媒体 The Elec 等多方报道，三大存储厂在 HBM4E 上的进度几乎并驾齐驱：

• 三星：定制 HBM4E 基础裸片已进入后端设计阶段，计划 2026 年 5 至 6 月完成设计，并向重点客户交付首批样品，采用 1c DRAM 工艺搭配 4nm 级代工基础裸片，还计划在部分堆栈中引入混合键合技术；
• SK 海力士：目标 2026 年下半年送样，DRAM 工艺从 1b 升级到 1c，基础裸片与台积电深度合作——主流服务器产品用 12nm 工艺，面向英伟达旗舰 GPU 与谷歌 TPU 的高端设计则升级到 3nm；
• 美光：据 Tom's Hardware 此前报道，已委托台积电代工 HBM4E 基础逻辑裸片，同样基于 1c DRAM，量产目标定在 2027 年下半年。

业界普遍预期 HBM4E 将在 2027 年正式放量，而 HBM5 大约在 2029 年登场。

代际	量产窗口	DRAM 工艺	基础裸片策略	关键词
HBM4	2026 年	1b	逻辑裸片起步，三星采用 4nm 工艺	标准品为主、接口翻倍至每堆栈 2048bit
HBM4E	2027 年	1c	三星自研 2nm；SK 海力士、美光倚重台积电 3nm	定制化主战场
HBM5	2029 年前后	待定	更深度的逻辑集成	散热与键合工艺竞赛

定制化：从卖颗粒到卖半颗 SoC​

定制 HBM 的核心诉求来自客户侧。基础裸片负责控制堆叠 DRAM 的读写与纠错，直接决定整体性能与稳定性，英伟达、谷歌、Meta 等头部客户纷纷要求在基础裸片中集成额外的逻辑功能，例如近存计算、自定义接口与缓存一致性逻辑。据公开报道，三星为定制项目增聘了约 250 名工程师，并从 HBM4 起分设标准品与定制品两条产品线。这意味着 HBM 正在从标准化存储颗粒，演变为"半颗定制 SoC"，存储厂与代工厂的边界也随之模糊。

需求侧同样在变化。据 TrendForce 研究，三大原厂 HBM 晶圆投入占 DRAM 总投入的比例将从 2025 年底的约 18% 升至 2026 年底的 22%，2027 年进一步达到 30%；而生产同等 bit 数的 HBM 消耗的晶圆产能约为标准 DDR5 的三倍，供给弹性天然受限。客户端方面，英伟达在 2026 年仍占 HBM 总需求的约六成，2027 年随着谷歌、亚马逊、微软自研芯片放量，这一比例预计回落到 48% 左右。客户结构多元化，恰好给了存储厂对定制产品差异化定价的机会。

散热与键合：下一个工艺竞技场​

堆叠层数增加带来的热密度问题愈发突出。据公开报道，三星在 2026 年 Computex 上展示了内嵌 HPB 铜基散热方案的 HBM5 原型，目标量产时点在 2028 年前后；SK 海力士则推出 iHBM 散热技术，宣称可将热阻降低超过 30%，量产窗口指向 2029 至 2030 年。与此同时，SK 海力士还与 SanDisk 合作推动高带宽闪存（HBF）的国际标准化，试图把 HBM 的高带宽思维延伸到存储层级，为超大模型权重的持久化加载提供新选项。

从制程路线也能看出竞争焦点的转移：三星 HBM4 的逻辑裸片采用 4nm 工艺，定制 HBM 则计划直接跳到自研 2nm；SK 海力士与美光选择绑定台积电最先进的 3nm 产能。存储厂商第一次把先进逻辑制程当成核心竞争力来经营，这在 HBM 历史上还是头一遭。

结语：存储的定价权时代​

从 HBM4E 开始，存储行业正在从"按 bit 卖"转向"按方案卖"。掌握先进逻辑制程资源（无论自研还是绑定台积电）、并率先在混合键合与散热工艺上突破的厂商，将拿到下一代定制 HBM 的定价权。对 2027 年之后规划 AI 集群的采购方而言，显存路线图的确定性，已经不亚于芯片本身的算力参数——毕竟在推理时代，带宽与容量才是吞吐量的第一约束。

当 AI 竞争的单元从单颗 GPU 升级为整个机架，机架架构就成了新的战场。AMD 的答案叫 Helios：72 颗 MI455X、18 颗 EPYC Venice、31TB HBM4，外加一条与 NVIDIA NVLink 完全不同的开放互联路线。本文拆解它的技术细节、工程约束与商业兑现节奏。

从 GPU 到机架：AI 基础设施的竞争单位变了​

大模型训练与推理的规模已经远远超出单卡甚至单服务器的能力范围。万亿参数模型的训练需要数百到数千颗 GPU 高速协同，推理集群则要求在机架级完成模型分片与流量调度。于是 NVIDIA 用 NVLink 与 NVL72 把竞争拉到了机架层，而 AMD 在 2026 年 1 月的 CES 上给出了自己的回答——Helios，并在 Advancing AI 2026 上确认了完整规格。

Helios 的核心配置一目了然：

组件	配置
GPU	72 颗 MI455X（CDNA 5，每颗 432GB HBM4）
CPU	18 颗 EPYC "Venice"（Zen 6，最高 256 核）
AI 网卡	Pensando Vulcano 800G AI NIC
HBM4 总容量	31TB
FP4 推理算力	2.9 EFLOPS
FP8 训练算力	1.4 EFLOPS
每 GPU 显存带宽	23.3TB/s
Scale-up 总带宽	260TB/s
Scale-out 带宽	43TB/s（较竞品多 50% 以上）

单机架 2.9 EF FP4 的推理算力意味着，一个 Helios 机架可以完整运行 700B 级模型；31TB HBM4 则为超长上下文、多模态与 MoE 架构提供了充裕的显存池。

三级部件：MI455X、Venice 与 Vulcano​

Helios 的性能来自三个部件的协同设计。

MI455X 是算力核心。每颗 GPU 基于 CDNA 5 架构，采用台积电 N2 计算芯粒加 N3P I/O 与缓存芯粒的混合封装，3200 亿晶体管，432GB HBM4 配 23.3TB/s 带宽，MXFP4 算力 40 PFLOPS 级。72 颗的规模使其成为目前单机架密度最高的 AI 算力方案之一。

EPYC Venice 是主机侧大脑。这款全球首款 2nm 数据中心 CPU 基于 Zen 6 架构，最高 256 核、1GB L3 缓存、16 通道内存提供 1.6TB/s 带宽，CPU 到 GPU 互联带宽是上一代的 2 倍。在 Helios 中，每托盘 4 颗 GPU 配 1 颗 Venice，18 颗 CPU 负责数据搬运、内存管理与系统调度。

Pensando Vulcano 是网络出口。800G AI NIC 负责 scale-out 侧的横向扩展，前代 Pollara 400G 已在 MI300 系列上验证了 AMD 网卡路线，Vulcano 将单卡带宽翻倍，并深度配合 UALink 协议栈。

UALink over Ethernet：开放互联路线的技术选择​

Helios 最具战略意义的设计是互联方案：采用 UALink over Ethernet（UALoE）实现 scale-up 纵向扩展，单 GPU 纵向扩展带宽 3.6TB/s，横向扩展 600GB/s（由三块 800G Vulcano NIC 提供）；整个机架的 scale-up 总带宽达 260TB/s，scale-out 达 43TB/s——后者比同级竞品高出 50% 以上。

UALink 是 AMD 联合 Broadcom、Intel 等共同推动的开放标准，目标是打破 NVLink 的封闭生态。选择"UALink 跑在以太网上"而非另起炉灶的专有协议，有三层考量：

1. 生态复用：数据中心以太网的技术栈、运维体系与供应链已经高度成熟，复用以太网物理层可以大幅降低部署门槛。
2. 供应商多元：开放标准意味着交换芯片、网卡、线缆可以有多个供应商，客户不再被单一家族的网络产品绑定。
3. 与 OCP 协同：UALink 与 OCP 的机架规范天然衔接，形成从芯片到机柜的完整开放栈。

与之对照，NVIDIA 的 NVLink 路线追求极致的私有优化——每 GPU 互联带宽更高、协议延迟更低，但代价是生态锁定。两条路线的胜负，取决于开放生态的成熟速度能否追上垂直整合的性能优势。

44OU ORW 机架：被物理约束塑造的工程设计​

Hot Chips 2026 上披露的机架工程细节，展示了巨型 AI 系统在数据中心物理约束下的真实样子。

工程维度	Helios 机架参数
机柜规格	44OU ORW 双宽机架（Open Rack Wide v3）
托盘布局	18 个计算托盘 + 6 个交换托盘
散热	全液冷 + 液冷快速接头
供电	50V 直流母线
整机重量	超过 7000 磅

这组数字背后是严酷的物理现实。72 颗高功耗 GPU 加 18 颗 CPU 使机架功率达到 225-245kW，传统风冷在如此功率密度下已经无能为力，全液冷成为唯一选项，液冷快速接头则是为了支持托盘级热插拔维护——在价值 500 万美元以上的机架中，停机时间就是真金白银。

50V 直流母线的选择同样有讲究：相比传统交流配电，直流母线减少一次 AC-DC 转换损耗，且在高功率密度下配电铜排更省空间。而超过 7000 磅的整机重量，则意味着数据中心的地板承重、搬运路线乃至建筑结构都需要为此重新评估——这也是它与 Meta 共研 ORW（Open Rack Wide）设计的意义：让宽体机架成为行业可复用的开放标准，而不是每家云厂商各造一套。

量产节奏与客户版图​

Helios 的交付节奏已经进入兑现期：2026 年 7 月开始量产，Q3 末首批出货，Q4 放量。客户侧的版图同样清晰：

• 微软：2026 年 7 月宣布扩大合作，在 Azure 大规模部署 Helios 机架级系统，明确用于前沿模型推理而非训练。
• Oracle：被列为 Helios 早期采用者。
• OpenAI：6GW 级合作协议，首批 1GW 基于 MI450 系列，计划 2026 年 Q4 启动 Helios 规模化上架，2027 年进入加速投放周期。
• Meta：最多 6GW 的 AMD GPU 部署计划，正测试 Helios 机架与第六代 EPYC，并与 AMD 共研基于 MI450 架构的定制加速器。
• TCS：将 Helios 带到印度市场。
• HPE：开放机架合作，加入 Dell、Supermicro、Lenovo 的 OEM 阵容。
• 主权 AI：Helios 平台也将助力美国主权 AI 工厂超算建设。

OpenAI 与 Meta 合计 12GW 以上的合作规模，是检验 Helios 商业模式的试金石。AMD 用认股权证与战略投资绑定头部客户的模式（如向 OpenAI 发行最多 1.6 亿股认股权证），本质是把未来收入与客户增长深度绑定——如果兑现，AMD 将在 AI 加速器市场获得实质性的第二供应商地位。

小结​

Helios 不只是一台更大的机柜，而是 AMD 对 AI 基础设施的一次完整表态：用 UALink 与 OCP 的开放标准对抗 NVLink 的垂直整合，用显存容量与 scale-out 带宽的数字优势切入推理市场，用与 Meta 共研的 ORW 机架设计把工程经验沉淀为行业规范。7000 磅的重量、50V 直流母线与全液冷快速接头提醒我们，AI 竞争已经深入到供电、散热与承重这样的物理细节。接下来真正的问题只有一个：6GW 订单的兑现节奏，能否跟上纸面参数的漂亮程度。

国产 AI 芯片有两条路：一条是自建生态，长痛但自主；另一条是兼容现有生态，短痛但受制于人。海光选择了后者——DCU 系列"类 CUDA"的通用并行计算架构，加上底层兼容 ROCm 的 DTK 软件栈，让大量存量 CUDA 代码几乎不用改写就能跑起来。这在信创市场上是独一无二的卖点。

K100 AI：规格与定位​

海光 DCU 当前的主力出货型号是 K100 AI 加速卡，综合官方与公开采购资料，核心规格如下：

参数	K100 AI	备注
FP16/BF16 算力	192 TFLOPS	部分实测资料记约 180 TFLOPS
INT8 算力	392 TOPS	适合量化推理
FP32 算力	49 TFLOPS	兼顾科学计算
显存	64GB HBM2e	带宽约 896 GB/s（部分资料记 1.2 TB/s）
功耗	350W	PCIe 4.0 x16 接口
对标	约为 A100 的六至八成水平	单卡价格约为 A100 的一半

从规格看，K100 AI 不是算力最强的国产卡，但它的强项在于"友好"：整机环境仍是 x86 加 Linux，CentOS、Ubuntu、麒麟系统，GCC 编译器、MPI、Slurm 调度器全部原样保留，运维团队的学习成本接近于零。

DTK 软件栈：迁移成本低于一成的底气​

海光的 DTK（DCU Toolkit）基于 ROCm 异构计算架构深度定制，编程模型与 CUDA 高度相似。据公开报道，存量 CUDA 代码的迁移成本可低于 10%，PyTorch、TensorFlow、PaddlePaddle 等框架以及 vLLM、SGLang 等推理引擎均有适配，累计适配的大模型超过 365 款，包括 Qwen、Llama 系列等主流开源模型。实测层面，单卡可流畅支持 27B 级别模型的推理，配合 INT8 量化可覆盖更大参数规模。

这套体系的另一层价值在于 HPC：分子动力学、计算流体力学等传统科学计算代码同样基于 CUDA 或 ROCm 生态，海光是少数能同时承接 AI 与 HPC 混合负载的国产平台。

商业表现与下一代布局​

海光的独特性还在于它是国内少有的同时拥有 x86 CPU 与 GPGPU 双产品线的公司。2025 年公司营收 143.77 亿元，同比增长 57%，净利润 25.45 亿元，研发投入占营收近三成二。DCU 出货约 8.3 万颗，落地以金融、政务、制造等传统行业 AI 改造和运营商中小规模智算集群为主。

下一代 K200 据公开报道将于 2026 年第三季度批量交付，规格大幅跃升：FP16 算力 256 TFLOPS，配备 128GB HBM3e 显存、2.4 TB/s 带宽，最大支持 2048 卡集群。届时海光在显存和互联上的短板有望明显补齐。

小结：渐进式国产替代的最优解之一​

海光 DCU 的启示在于：国产替代未必需要一次革命。对于存量 CUDA 资产庞大、团队缺乏芯片适配经验、希望先跑通再扩容的企业，K100 AI 提供了迁移摩擦最小的路径。它的算力上限决定了不适合冲击千亿参数大训练，但在推理服务与混合计算负载中，它是稳妥且现货充足的选择。追求最小改动的团队，海光应当是选型清单上的第一个名字。