77 篇博文 含有标签「Tech Deep Dive」

训练扩卡之后，性能却不是线性增长——八卡的效率可能只有七成，六十四卡可能只剩一半。损耗的大头往往不在计算，而在集合通信：每一步训练结束后，所有卡都要把梯度"对齐"。这个动作叫 AllReduce，它是分布式训练中最基础的集体操作，也是最容易被低估的时间黑洞。

AllReduce 到底在做什么​

数据并行是最常见的训练方式：每张卡持有完整模型副本，各处理一小批数据，算出的梯度彼此不同。参数更新前必须让所有卡上的梯度变成同一个平均值——这个"各自有个数，最后大家拿到同样的和"的操作就是 AllReduce。

工程实现上它通常拆成两步：ReduceScatter（各卡各拿总和的一部分）加 AllGather（再把各自的那份广播给所有人）。关键在于算法选择：环形（Ring）算法让每张卡只与相邻两卡通信，数据像接力一样绕环一周。可以证明，环形的总传输量对每张卡约为 2 乘以 N 减 1 再除以 N 乘以数据量——数据量是梯度总大小，N 是卡数。当 N 较大时，这近似等于"两倍梯度大小"，与卡数基本无关，因此被称为带宽最优算法。树形算法时延特性更好，适合小消息；实际系统中则常按网络拓扑做分层：节点内走 NVLink 高带宽环，节点间走 InfiniBand，两层各用各的最优算法。

一笔具体的时延账​

以 7B 模型混合精度训练为例，梯度约 14GB。八卡节点内 AllReduce，每卡收发总量约 2 乘 8 分之 7 乘 14GB，约 24.5GB；H100 节点内 NVLink 有效带宽按数百 GB/s 计，耗时约几十毫秒，相对于每秒多次的迭代尚可接受。但同一笔账放到跨机场景就难看了：若节点间只有 400Gbps 一条链路（约合 50GB/s），同步 14GB 梯度的耗时将以数百毫秒计，一步训练被通信拖成两倍长。

这正是大规模训练的共性困境：计算随卡数线性扩，而网络带宽扩不过卡数。节点内外带宽差出一个数量级，通信分层与流量调度因此成为大规模集群设计的核心功课。

压缩通信的三板斧​

手段	原理	典型收益
梯度分桶与计算重叠	反向传播中先算完的层先通信，与后续计算并行	掩盖大部分节点内通信
状态分片（ZeRO 类）	把优化器状态与梯度切分到各卡，减少冗余同步	通信量与显存同时下降
精度与压缩	低精度梯度、稀疏化或低秩压缩后再同步	通信量成倍下降，需评估收敛

三板斧之外还有架构层面的选择：增大每卡 batch 提高计算通信比、流水线并行减少同步频率、以及 MoE 场景改用 all-to-all（那是另一个故事）。它们的共同目标是同一个——让每字节数据通信期间，算力单元别闲着。

实操建议​

拿到集群先别急着堆模型：跑一遍基准的 AllReduce 带宽测试，确认节点内与节点间的实测有效带宽与规格的差距；训练中用 profiling 工具看通信时间占比，超过一成就说明优化空间在通信侧而不是算力侧。买卡时也别只比 FLOPS——节点内互连带宽与网络规格，在规模化训练里的重要性不亚于算力本身。

谈到 AI 芯片瓶颈，人们第一反应是 HBM 或先进制程，但真正的隐形关卡是封装。一台 3nm 光刻机不够可以排队再买，一条 CoWoS 产线从规划到爬坡却要以年计。2026 年 10 月，GlobalFoundries 与台积电这对代工对手签下互供协议，把封装产能的稀缺性暴露无遗。

AI 芯片封装"三件套"​

现代 AI 芯片的封装不再是把芯片装进外壳，而是构造一个微型系统。三个核心技术构件：

• 2.5D 中介层（interposer）：一块硅材质的"转接板"，放在 GPU die 与基板之间，上面布满密度远超 PCB 的走线，让 GPU 与 8-12 颗 HBM 之间以极短距离高速通信；
• 3D 堆叠（hybrid bonding）：用铜-铜混合键合把 die 直接面对面堆叠，不再靠凸点，互连密度提升一个数量级，主要用于 HBM 内部堆叠与缓存堆叠；
• RDL 重布线层：把 die 上的焊盘"重新布线"到合适位置，承担封装内的横向连接与信号引出。

三者组合，决定了 AI 芯片的集成形态。以 AMD MI455X 为例：8 个 N2 制程计算芯粒（XCD）、2 个 I/O die 与 2 个缓存/fabric die（N3），加上 12 颗 HBM4 堆栈，全部通过 CoWoS-L 封装整合在同一个封装内；NVIDIA Rubin R200 则是 2 颗计算 die + 2 颗 I/O die + 8 颗 HBM4 的 MCM 多芯片模块设计。没有先进封装，就没有现代 AI GPU。

CoWoS 技术梯队：S、R、L 的演进​

台积电的 CoWoS（Chip-on-Wafer-on-Substrate）家族按中介层技术分为三代：

方案	中介层技术	特点	典型应用
CoWoS-S	硅中介层（Si interposer）	成熟、成本最低，面积上限约 3 倍 reticle	H100、早期数据中心 GPU
CoWoS-R	RDL 中介层	用有机重布线层替代硅，面积更大、成本更低，带宽密度略降	H200 及部分 Blackwell 配置
CoWoS-L	局部硅互连（LSI）+ RDL	硅桥局部互连 + 大面积布线，面积上限突破 3.3 倍 reticle，互连密度最高	B200/GB200、MI455X、Rubin

演进的方向很明确：封装面积越来越大（从 1 倍 reticle 到 3 倍以上）、集成组件越来越多（GPU + HBM + 缓存 die + I/O die）、互连密度越来越高。CoWoS-L 已成为旗舰 AI 芯片的事实标准，也意味着单颗芯片占用的封装产能成倍增长。

为什么封装产能比晶圆产能更紧​

直觉上，先进制程更难、更稀缺，但封装恰恰是更紧的那一环，原因有四：

1. 产能基数小：全球先进制程晶圆厂有数十座，而具备大规模 CoWoS 产能的基地屈指可数，且全部集中在台积电体系内；
2. 扩产周期长：洁净厂房、无尘搬运、精度设备交付周期都以年计，CoWoS 月产能从规划到释放动辄 18-24 个月；
3. 需求端放大：HBM 堆栈数量从 6 颗涨到 12 颗、die 数量翻倍，单卡消耗的封装面积持续膨胀，产能需求指数级增长；
4. 良率敏感：中介层越大越贵，一片超大中介层的报废就是整封装报废，有效产能远低于名义产能。

AMD 在 2026 年明确指出，HBM 和先进封装（CoWoS）供给紧张是其增长的主要约束——注意，AMD 的瓶颈不在自家芯片设计，而在拿不到足够的封装配额。

GF-TSMC 互供：一个罕见的市场信号​

2026 年 10 月 8 日，DIGITIMES 报道 GlobalFoundries 与台积电签署多年期协议，金额约 20 亿美元：GF 将在美国纽约州 Malta 工厂为台积电的 CoWoS 生态生产硅中介层。

这个安排罕见在哪里？GF 与台积电在先进代工市场是直接竞争对手，让对手替自己生产关键耗材，只有一种解释——封装产能稀缺到连代工龙头都要向外借力。对台积电，这是快速扩大 interposer 供给的最短路径；对 GF，这是切入 AI 封装供应链的高价值订单。同时，地缘上它把 part of CoWoS 供应链锚在美国本土，呼应美国先进制造政策。

产业配套也在加速：应用材料（Applied Materials）与半导体封装设备龙头 Besi 于 2026 年 10 月 1 日宣布扩大 EPIC（Electronics Packaging Industry Consortium）中心合作，联合开发混合键合等下一代封装工艺；应用材料还与 Intel 扩大了下一代互连扩展与 Foveros 3D 技术的合作。设备商、代工厂、IDM 三方同时下注，印证封装已是 AI 算力的战略资源。

Foveros 与 CoWoS：两条路线之争​

台积电 CoWoS 并非唯一答案。Intel 的 Foveros 是另一条 3D 封装路线，两者定位有所不同：

维度	台积电 CoWoS-L	Intel Foveros
核心思路	2.5D 中介层承载多 die + 局部 3D 互连	3D 堆叠为基础逻辑 die 面对面互连
优势	生态成熟、HBM 集成经验深厚、大封装面积	互连密度与能效更高，垂直距离更短
主要客户	NVIDIA、AMD、Broadcom 等绝大多数 AI 芯片厂	Intel 自家产品为主，逐步开放代工
当前角色	AI GPU 封装事实标准	追赶者，重点在下一代互连扩展

短期内 CoWoS 地位难以撼动——AI GPU 的核心需求是把大量 HBM 和 compute die 拼在一张大封装里，CoWoS-L 正为此而生。Foveros 的机会在于 3D 堆叠密度与能效的长期演进，以及与 Intel 先进制程组合的代工吸引力。

对芯片厂商的启示：封装配额就是出货上限​

2026 年的 AI 芯片竞争已经形成一条铁律：你的出货量不取决于你能设计多少芯片，而取决于你能拿到多少封装配额。

• 对 NVIDIA、AMD：CoWoS 配额直接决定 Blackwell/Rubin 与 MI400 系列的交付节奏，封装扩产进度就是营收曲线；
• 对国产芯片：在台积电 CoWoS 体系之外建立自主先进封装能力，与自研 HBM 同等重要，是摆脱供应链约束的另一半拼图；
• 对云厂商与大买家：锁定芯片产能的同时必须锁定配套封装与 HBM，三者缺一即断供。

小结​

AI 芯片的瓶颈正在从"造出更小的晶体管"转向"把更多 die 更好地装在一起"。CoWoS-S/R/L 的技术梯队撑起了从 H100 到 Rubin 的每一次性能跨越，而 GF 与台积电的互供协议则宣告：封装产能已稀缺到让对手合作。下一个五年，谁掌握先进封装，谁就握有 AI 算力版图的划分权。

"代码在同事机器上能跑，到我这报 CUDA driver version is insufficient"——这类事故几乎都源于对版本兼容规则的一知半解。搞清三件事：驱动决定上限、工具包要求下限、次版本兼容有例外。

先分清三个版本号​

很多混乱来自三个"CUDA 版本"的混淆。nvidia-smi 右上角显示的 CUDA Version 是当前驱动最高支持的 CUDA 版本；nvcc --version 显示的是编译工具链的版本；PyTorch 里 torch.version.cuda 显示的是该轮子编译时链接的运行时版本。三者不一致本身不是错误，只有当驱动版本低于运行时所需的最低驱动时才会初始化失败。

最低驱动要求矩阵​

CUDA 工具包	Linux 最低驱动	备注
CUDA 11.x	450.36.06 以上	Kepler 之后架构，11.8 新增 Hopper
CUDA 12.x	525.60.13 以上	Blackwell 完整支持自 12.8 起
CUDA 13.x	580.65.06 以上	Pascal/Maxwell/Volta 支持止步于 R580 驱动

驱动对旧工具包是向后兼容的：新驱动永远能跑旧 CUDA 编译的程序，所以"升级驱动不升级工具包"是安全的，反过来才要小心。同时注意架构生命周期：Blackwell（算力 10.0）从 CUDA 12.0 开始支持并在 12.8 完善到位；而 Pascal、Volta、Maxwell 的支持在 CUDA 12.x 止步，对应 R580 是它们的最后驱动分支。

次版本兼容的三个例外​

从 CUDA 11 起，同一大版本族内的应用只需满足最低驱动即可运行，这就是次版本兼容（Minor Version Compatibility）：用 CUDA 12.9 编译的程序，可以跑在只装了 CUDA 12.0 最低驱动（525 系列）的机器上。但有三个例外会让它翻车：

1. 用到新驱动才有的特性：应用会返回 cudaErrorCallRequiresNewerDriver，解决办法只能是升级驱动。
2. 依赖 PTX 运行时编译：驱动里不带对应架构的 PTX JIT 支持时程序无法运行，老驱动加新架构尤其危险。
3. 编译时未显式指定目标架构：次版本兼容要求给 nvcc 传 -arch=sm_xx 这类显式参数，不能依赖默认值。

实操建议​

装机的标准动作是先定工具包再定驱动：查清目标框架（PyTorch、TensorRT 等）要求的 CUDA 大版本，再按下表选不低于最低值的驱动，并优先使用框架官方 NGC 容器镜像，把宿主机驱动作为唯一需要管理的版本变量。排障时按顺序自查：nvidia-smi 能否执行（驱动层）、torch.cuda.is_available() 是否为真（运行时层）、报错码是否指向特性缺失（兼容层）。集群里多代显卡混布时，务必以最老那张卡的架构决定编译时的 -arch 参数，只按 H100 编译的轮子在 A10 上大概率直接报 no kernel image available。

千亿参数模型的训练没有银弹。显存不够、通信爆炸、扩展效率衰减，每个瓶颈都有对应的框架答案。看清 DeepSpeed、FSDP、Megatron 各自解决的核心矛盾，比背参数更重要。

三种哲学，三个框架​

三者的架构本质可以概括为一句话：DeepSpeed 是显存扩展优先，Megatron 是计算性能优先，FSDP 是易用性优先。

维度	DeepSpeed	Megatron-LM	PyTorch FSDP
出品方	Microsoft	NVIDIA	PyTorch 官方
核心技术	ZeRO 分片 1/2/3、Offload、Infinity	3D 并行（张量、流水线、数据）	参数全分片、Bucket 化、通信重叠
显存思路	优化器状态、梯度、参数逐级切分，可卸载到 CPU/NVMe	把模型按层切到多卡，换吞吐省显存	类似 ZeRO-3 的原生实现
硬件耦合	广泛，含 CPU、NPU、NVMe	强依赖 NVIDIA GPU 与 NVLink	跟随 PyTorch 后端
接入成本	JSON 配置，代码侵入低	需按规范重构模型	零侵入，包装即用

DeepSpeed 的 ZeRO-1/2/3 把优化器状态、梯度和参数逐级切分到各卡，ZeRO-Offload 与 ZeRO-Infinity 进一步把状态卸载到 CPU 内存甚至 NVMe，用带宽换显存，让有限硬件也能起步大模型训练。Megatron-LM 则是张量并行与交错式流水线调度的标杆实现，在 NVLink 互联的 NVIDIA 集群上能榨出最高的 MFU。FSDP 是 PyTorch 对 ZeRO-3 思想的原生化，2.x 时代又引入 DeviceMesh 与 DTensor，把多维并行表达成一等公民概念。

怎么选：按规模与硬件定​

经验路径大致如下：几十亿参数微调、PyTorch 技术栈、不想改代码，直接 FSDP；显存吃紧、硬件预算有限、或需要在异构环境（含昇腾插件）里跑超大模型，选 DeepSpeed；自建 NVIDIA 大集群、追求 GPT-4 级别吞吐、愿意承担改造成本，上 Megatron。三者并非互斥：Megatron-DeepSpeed 混合方案在 BLOOM、GLM 等经典大模型训练中已被反复验证，用 Megatron 的并行结构叠加 ZeRO 的显存优化；也有团队训练侧用 FSDP、推理侧接 DeepSpeed-Inference 的组合。

工程上的常见坑​

1. ZeRO-3 与某些自定义算子、参数共享结构不兼容，接入前先跑小规模试训验证收敛。
2. 流水线并行对 micro-batch 数量敏感，batch 太小会让流水线气泡吞掉理论收益。
3. FSDP 在千亿级规模的扩展效率弱于 Megatron，别用它的短板打别人的长板。
4. Offload 到 CPU 会拖慢步速，确定显存确实不够再开，并用 profiling 对比开关前后的单步耗时。

实操建议​

上线前用目标模型跑一个 48 小时短程实验，记录单步时间、显存水位与 MFU 三项指标，三个框架横向对比再定。配置上先保守后激进：先用 ZeRO-2 或 FSDP 全分片拿基线，确实不够再切 ZeRO-3 加 Offload。国产硬件团队重点关注 DeepSpeed 生态与昇腾插件的兼容进展，它是对非 NVIDIA 硬件最友好的训练框架，没有之一。

在 AI GPU 抢走所有头条的年代，服务器 CPU 的战争并未结束，而是换了一种打法。AMD 把 Zen 6 架构的 EPYC Venice 推上 2nm，堆到 256 核，并让它成为 Helios 机架的主机侧大脑——这是一份关于"AI 时代 CPU 该干什么"的答案。

全球首款 2nm 数据中心 CPU​

EPYC Venice 于 2026 年 1 月 6 日在 CES 发布，是第六代 EPYC 数据中心处理器，也是全球首款采用 2nm 工艺的高性能处理器。苹果会在消费级处理器上首发台积电 2nm，但数据中心 2nm 的头衔属于 AMD——在 x86 阵营中，这是自 Zen 架构崛起以来 AMD 第一次在制程节点上同时领先所有对手。

其核心规格如下：

规格	参数
CPU 架构	Zen 6 / Zen 6C
制程工艺	台积电 2nm（N2）
核心数量	最高 256 核（Zen 6C 版）
线程数量	最高 512 线程
L3 缓存	1024MB（1GB）
CCD 配置	8 个 Zen 6C CCD（每 CCD 32 核）
内存通道	16 通道，单路带宽 1.6TB/s
PCIe	6.0
封装接口	全新 SP7
发布时间	2026 年 1 月 6 日（CES 2026）
量产时间	2026 年 5 月（已投入量产）

Venice 系列包含两个版本：高密度 Zen 6C 版本最高 256 核（8 个 CCD、每 CCD 32 核、1GB L3），面向高密度数据中心；标准 Zen 6 版本最高 192 核（16 个 CCD、每 CCD 12 核、768MB L3），面向通用数据中心。单核性能提升达 70%。

256 核的密度哲学：AI 节点中 CPU 的角色重定义​

Zen 6C 的设计哲学浓缩在一个数字里：每 CCD 32 核，比上代 Zen 5C 的 16 核直接翻倍。这让 AMD 只用 8 颗 CCD 就实现了 256 核——更少的芯粒数量意味着更低的封装成本、更简化的互联拓扑与更好的良率控制。这是典型的 chiplet 时代密度打法：不追求单核极限，而是追求单位封装面积与单位成本下的核心密度。

为什么 AI 数据中心需要 256 核？答案藏在 CPU 角色的转变里。在传统数据中心，CPU 是绝对主角；而在 Helios 这样的 AI 机架中，每托盘 4 颗 MI455X GPU 配 1 颗 Venice，CPU 的职责变成了数据搬运、内存管理、系统控制编排——它不再是算力的提供者，而是算力的"交通调度员"。

这个角色对 CPU 的要求恰好与 256 核匹配：数据预处理、Tokenization、KV Cache 管理、网络协议栈、存储 I/O，这些工作高度并行且不依赖单核性能，核心数量就是吞吐量。16 通道内存提供的 1.6TB/s 带宽（Turin 的 2 倍）与升级的 PCIe 6.0、CPU-GPU 互联带宽翻倍，都是为了同一个目标：让 GPU 永远不缺数据。在 AI 工厂里，一颗喂不饱 GPU 的 CPU，就是最贵的瓶颈。

2nm 双厂布局：台湾与亚利桑那的地缘对冲​

Venice 的另一个关键进展是产能布局：它已在台积电 2nm 产线启动量产，并将延伸至台积电美国亚利桑那工厂。这使 AMD 成为首个实现美国本土 2nm 量产的 x86 服务器 CPU 厂商。

这步棋的价值在地缘层面。美国政府对本土先进制程产能的战略诉求日益强烈，超大规模云厂商的采购决策中"美国制造"的权重持续上升；亚利桑那产线让 AMD 在满足主权 AI 与政府订单时拥有对手难以复制的选项。与此同时，台湾产线保障了主力产能与成本效率——双厂并行既是对冲地缘风险，也是对冲单一产线的产能与意外风险。对于一款要装进 OpenAI、Meta、微软数 GW 级 AI 工厂的 CPU，供应链韧性本身就是产品力。

竞争格局：Intel 的份额流失与 Vera 的正面压力​

服务器 CPU 市场的竞争压力来自两个方向。

一个方向是传统对手 Intel。分析师普遍认为 Intel 在服务器 CPU 市场持续丢失份额，甚至出现"卖出 Intel"的分析口径。在 AI 数据中心的建设热潮中，每新建一个机架，主机侧 CPU 的采购决策就发生一次——而 Helios 这类 AMD 自家机架方案，天然把 Venice 带进了原本属于 Xeon 的领地。

另一个方向来自 NVIDIA。AI 工厂正在重新定义 CPU 的形态：NVIDIA 为 Rubin 平台配套了自研的 Vera ARM CPU（88 核），试图用"GPU 加自家 CPU"的整合方案替代独立服务器 CPU。竞争压力已经有数字化的呈现——根据 Daytona 的 Vera CPU 智能体基准测试，Vera 在千个沙盒场景中耗时 10.8 秒，而 EPYC 9755 需要 88.4 秒。这一测试虽不能代表所有负载，但它揭示了一个真实趋势：NVIDIA 正在用专为 AI Agent 工作负载设计的 CPU 架构，向"AI 工厂该用什么 CPU"的话语权发起冲击。

AMD 的应对是把 Venice 做成开放生态的一部分：它不只服务 Helios，也通过 Dell、HPE、Supermicro、Lenovo 的 OEM 渠道进入各种第三方 AI 服务器。与 Vera 的封闭整合路线不同，Venice 的卖点是 x86 软件兼容性与部署灵活性——存量数据中心不需要重写一行代码。

小结​

EPYC Venice 的故事不是"更多核心、更先进制程"的常规升级，而是一次角色转型的样板：CPU 从数据中心的主角变成 AI 工厂的调度中枢，256 核与 1.6TB/s 内存带宽是为"数据搬运工"这个新岗位定制的装备。2nm 双厂布局提供了地缘对冲，x86 兼容性守住了开放生态的基本盘。它面对的挑战同样明确——向上要顶住 Vera 这类 AI 原生 CPU 架构的挤压，向下要继续收割 Intel 丢失的份额。AI 时代的 CPU 战争，才刚刚进入下半场。

选型 AI 芯片时，最容易被数字晃点的地方就是算力表。同一颗 H100，有的页面写 990 TFLOPS，有的写 1979 TFLOPS，两个都没错——错的是拿来做对比的那个人。这篇文章把算力口径拆开讲清楚。

稠密与稀疏：恰好两倍的差距​

稠密（dense）算力指计算单元对每一对数据都做真实乘加时的峰值吞吐；稀疏（sparse）算力则假设输入矩阵里有一定比例的零可以被跳过。NVIDIA 自 Ampere 架构起支持 2:4 结构化稀疏：每四个权重里固定有两个为零，硬件直接跳过对应的乘加，峰值算力恰好翻倍。

以公开规格为例：

芯片（SXM）	BF16 稠密	BF16 稀疏	FP8 稠密	FP8 稀疏
A100 80GB	约 312 TFLOPS	约 624 TFLOPS	不支持	不支持
H100	约 990 TFLOPS	约 1979 TFLOPS	约 1979 TFLOPS	约 3958 TFLOPS

NVIDIA 官方数据表中标注的数字默认就是稀疏口径，并附有"不采用稀疏技术时规格降低一半"的脚注。问题在于，这个脚注在传播过程中经常被丢掉，于是 1979 就成了流传更广的那个数。

为什么"注水"能成立：真实负载很少吃到稀疏红利​

结构化稀疏要兑现收益，前提相当苛刻：模型必须经过配套的剪枝与微调，让权重收敛到 2:4 的稀疏模式，且精度损失可接受；推理软件栈还要支持稀疏数据布局。现实是，主流大模型的训练和推理几乎都以稠密方式运行，市面上真正把结构化稀疏打满的生产级部署屈指可数。换句话说，稀疏算力是一张"理论上限的支票"，多数负载兑不了现。

除了稀疏口径，规格表里还埋着几层口径差：精度档位（FP4 数字天然比 BF16 大数倍）、单芯还是整机（机柜级数字除以 GPU 数才有可比性）、峰值还是持续（散热和功耗墙会让持续算力明显低于峰值）。厂商倾向把对自己最有利的那一格放到宣传页首行，这不是造假，而是"选择性呈现"。

四步把规格表读出真实算力​

1. 统一精度：对比双方换算到同一精度档，BF16 对 BF16，FP8 对 FP8，绝不跨档比较。
2. 还原稠密值：看到带稀疏角标的数字，先除以二再进表。粗略经验是，宣传数字越大越可能是稀疏或低精度口径。
3. 确认统计边界：是单芯片、单模组还是整机柜数字；是否有双芯封装的合并口径。
4. 换算成业务指标：用你的模型参数量和显存带宽反推 tokens 上限，与标称算力互相校验。算力再高，喂不饱就是虚的。

小结​

稠密算力才是大多数真实负载能摸到的天花板，稀疏算力是需要软硬件全套配合的期权。选型时把所有候选芯片统一到"同精度、稠密、单芯"的口径上做对比，再用显存带宽和互连带宽交叉验证，就能过滤掉大部分注水成分。记住一条朴素规律：如果某个宣传数字比同代竞品高得离谱，先查它的口径，而不是急着惊叹。

同一颗芯片，FP4 算力是 FP16 的十倍——这不是魔法，而是数值格式的游戏。2026 年，FP4 已成为旗舰 AI 芯片的标配，华为更推出自研 HiF8 格式宣称"精度接近 FP16"。低精度到底牺牲了什么、换来了什么？本文一次讲清。

浮点格式科普：位数与动态范围的权衡​

计算机用浮点数表示小数，格式由三部分组成：符号位、指数位（决定动态范围）和尾数位（决定精度）。AI 训练与推理的历史，就是一部不断"砍位数"的历史：

格式	总位数	指数/尾数	动态范围	典型用途
FP32	32	8/23	极大	科学计算、训练基准
TF32	19	8/10	大	Ampere 起的训练加速
BF16	16	8/7	大（同 FP32 指数）	大模型训练主流
FP16	16	5/10	中	传统混合精度
FP8	8	4/3 或 5/2	小	训练与推理加速
FP4	4	2/1	极小	大规模推理

规律很清晰：每砍一半位数，算力大约翻一倍——乘法器的面积与功耗近似随位数的平方增长，FP8 的张量核心天然比 FP16 快一倍，FP4 又比 FP8 快一倍。代价是动态范围急剧收缩：FP8 的表示范围只有 FP16 的几十分之一，FP4 更是只能表达十几到几十个离散值。大模型之所以"敢"用低精度，靠的是两项补救：逐 block 的缩放因子（把数值归一到格式能表达的区间）和海量参数带来的统计冗余。

Transformer Engine：自适应精度的工程答案​

低精度的难点在训练：梯度跨越多个数量级，格式选大了浪费算力，选小了梯度下溢训练崩溃。NVIDIA 的解法是 Transformer Engine（TE）：

• 第一代在 Hopper 上实现 FP8 自动切换；第二代（Blackwell）引入 FP4/FP6；
• 第三代（Rubin）支持硬件级自适应精度压缩，不需要重写模型代码即可动态切换精度——覆盖 FP4/FP6/FP8/FP16/BF16/TF32/FP32/FP64。

工作原理是逐层分析张量的数值分布：对分布平稳的层用 FP4，对敏感层自动回退 FP8 或 BF16。开发者不改代码，硬件与框架在运行时完成"每层选档"。这把低精度的使用门槛从"数值专家专属"降到了"默认开启"。

落到算力数字上：Rubin R200 提供 FP4 推理 50 PFLOPS、FP4 训练 35 PFLOPS、FP8/FP6 17.5 PFLOPS（均为 sparse 口径），相比 B200 的 FP4 约 10 PFLOPS 提升达 5 倍。

三种 FP4 方案对比：NVFP4、MXFP4 与 OCP 标准​

FP4 只有 4 个 bit，如何组织这些 bit 成了路线分歧：

维度	NVIDIA NVFP4	AMD MXFP4	OCP MX 标准
分组缩放	每 16 元素一组 E4M3 缩放 + 二级张量缩放	每 32 元素一组共享缩放因子	定义 FP4/FP6/FP8 的 microscaling 框架
设计取向	精度优先，双级缩放压误差	开放标准优先，跨厂商兼容	行业互操作
代表硬件	Rubin R200（FP4 50 PFLOPS）	MI455X（MXFP4 40.3 PFLOPS）	AMD、微软等共同推动

AMD MI455X 的精度阶梯同样遵循 OCP 体系：MXFP4 40.3 PFLOPS，MXFP6 与 MXFP8 各约 20.1 PFLOPS——位数减半、算力翻倍的规律清晰可见。NVIDIA 的 NVFP4 则通过更细粒度的双级缩放在同等位数下保留更多精度，代价是与 MX 生态不完全兼容。两条路线之争的实质是：精度保真度与生态开放性的权衡。

华为 HiF8：低精度高保真的差异化路线​

在 FP4 军备竞赛之外，华为给出了另一种思考。昇腾 950 系列首次引入自研 HiF8 格式——FP8 的位宽、FP16 的精度：

• 精度接近 FP16，算力比 FP16 提升 2 倍：传统 FP8 因指数/尾数分配激进，在训练中常出现精度损失，HiF8 通过重新分配位与缩放机制，把 FP8 位宽用出接近 FP16 的保真度；
• 配合 FP4 格式，整体算力利用率提升 30%+：HiF8 承担对精度敏感的训练主力计算，FP4 承担推理与容忍误差的部分，两者分工让芯片算力真正"跑得满"；
• SIMD + SIMT 双编程模型配合：Da Vinci v5 架构延续 SIMD 高效向量计算，新增 SIMT 支持灵活调度，配合 HiF8 提供昇腾 Core（ASIC）与 GPGPU 双生子型号，内存访问粒度从 512 字节细化到 128 字节。

昇腾 950 的算力配置印证了这条路线：FP8 1 PFLOPS、FP4 2 PFLOPS，训练仍以 FP8/BF16 为主、FP4 用于推理。与 NVIDIA"激进压精度换峰值"不同，华为选择"低位宽但高保真，保训练质量"。

低精度与模型质量的真实权衡​

厂商宣传中低精度近乎"免费午餐"，实际权衡需要冷静看待：

• 训练：FP8/BF16 混合精度已是主流且质量损失可控；FP4 训练仍处早期，对超大规模模型需要精细的逐层策略，HiF8 这类高保真格式正是为此而生；
• 推理：FP4 权重量化的质量损失在多数对话任务上难以察觉，但在数学推理、代码生成等长链任务上可能出现累积误差；
• 评估陷阱：低精度基准分数好看，不等于业务指标不掉——用你自己的真实负载做 A/B 验证，比看 datasheet 可靠得多。

稀疏算力口径：为什么厂商数字都是 sparse​

细心的读者会发现所有厂商算力数字都标注"sparse"（稀疏）。这是因为结构化稀疏技术把矩阵中一半为零值的元素跳过计算，理论上可让吞吐翻倍：sparse 数字 = dense 数字 × 2。

以 Rubin R200 为例，FP4 推理 50 PFLOPS 是 sparse 口径，dense 口径约为 25 PFLOPS；MI455X 的 FP16 矩阵算力 5 PFLOPS，含结构化稀疏为 10.1 PFLOPS。sparse 数字反映的是最佳情况的硬件上限，实际模型因稀疏度达不到 50%，通常拿不到翻倍收益。横向对比芯片时务必确认口径一致，否则对比没有意义。

给开发者的实操建议​

1. 训练默认 BF16 或 FP8：BF16 生态最成熟；FP8 配合 Transformer Engine 类自适应机制已可放心用于主流大模型，这是当前性价比最高的一档；
2. 推理大胆上 FP8：对质量影响极小，吞吐收益直接翻倍，应作为推理部署的默认选项；
3. FP4 分场景推进：对话、检索、推荐类负载可率先切换 FP4（NVFP4 或 MXFP4）；数学与代码等高精度敏感任务先做质量评测再灰度；
4. 确认算力口径：对比硬件时统一 dense/sparse 与格式口径，用真实模型的端到端 token 吞吐做最终裁决；
5. 关注高保真低精度格式：HiF8 的"FP8 位宽、FP16 保真"思路值得跟踪，尤其当你的训练在 FP8 上出现质量回退时。

小结​

从 FP32 到 FP4，每一次位宽减半都是一次算力翻倍的机会，也是一次精度风险的博弈。NVIDIA 用第三代 Transformer Engine 把自适应精度做成"默认开启"，AMD 押注 MXFP4 开放标准，华为则以 HiF8 走出"低精度高保真"的差异化路线。低精度不是无脑降档，而是一门在算力、精度与生态之间找平衡的手艺——用好它，同样的芯片预算可以多买一倍的智能。

同一颗 GB300 Grace Blackwell Ultra 芯片，既能撑起 350 万美元级的数据中心机柜，也能塞进一台放在办公桌上的 DGX Station。2026 年 10 月微软活动上预览的 DGX Station for Windows，让这个"双面故事"变得更加完整。本文依据站内芯片数据库，梳理 GB300 在 Blackwell 家族中的定位、桌面与数据中心的产品分层，以及 WSL 桥接对 Windows 企业市场的意义。

GB300 在 Blackwell 家族中的定位​

GB300 是 NVIDIA 第三代 Grace Blackwell 超级芯片，2025 H2 发布。其代际演进脉络清晰：

指标	GH200 (2023-Q3)	GB200 (2024-Q4)	GB300 (2025 H2)
GPU	H100	B200	B300 Ultra
CPU	Grace 72 核	Grace 72 核	Grace 72 核
GPU 内存	96GB HBM3	192GB HBM3e	288GB HBM3e
GPU 带宽	3.35 TB/s	8 TB/s	10 TB/s
NVLink 域内	60 TB/s	130 TB/s	130 TB/s
网络	ConnectX-7 400G	ConnectX-8 800G	ConnectX-9 1.6T
FP4 sparse（单 GPU）	N/A（FP8 2 PF）	10 PF	15 PF
TDP（GPU）	1000W	1000W	1400W

GB300 超级芯片 = 2 颗 B300 Ultra GPU + 1 颗 Arm Grace CPU（72 核 Neoverse V2），通过 900 GB/s 的 NV-HBI 高速接口配对。据站内芯片数据库，单 Superchip FP4 sparse 算力 30 PFLOPS、FP8 dense 7.5 PFLOPS、GPU 侧总显存 576GB HBM3e，Superchip 模块单价约 7-8 万美元。

B300 Ultra：288GB HBM3e 的推理特化​

B300 Ultra（Blackwell Ultra）是 Blackwell 的中期升级版本，2026 年 1 月正式出货。据站内芯片数据库：

• 显存：288GB HBM3e（12-Hi 堆叠），相比 B200 的 192GB 提升 50%，可单卡加载 FP16 的 70B 模型并保留 100GB+ 给 KV Cache；
• 算力：FP4 稀疏 30 PFLOPS、FP8 密集 7 PFLOPS，相比 B200 均提升约 56%；
• 实测：DeepSeek-R1 Prefill 吞吐 22,476 TGS，相比 H200 提升 8 倍；短输出场景提升 20 倍。

需要说明的是，站内 b300-ultra 卡按单卡口径记录 FP4 稀疏 30 PFLOPS，而 gb300 卡的代际对比表按单 GPU 口径记 15 PFLOPS（Superchip 两颗合计 30 PFLOPS），两个数据源口径存在差异，读者引用时需注意区分。B300 的制程仍为台积电 4NP，升级重心放在显存容量与 FP4 精度上——这正是"中期升级"的典型特征：架构不动，围绕推理经济性做增量。

NVL72 机柜：数据中心旗舰形态​

36 颗 GB300 组成 NVL72 机柜（72 颗 B300 Ultra + 36 颗 Grace），据站内芯片数据库：

项目	配置
HBM 总量	20.7 TB HBM3e
LPDDR5X 总量	34.6 TB
NVLink 5 域内	130 TB/s 全互联
ConnectX-9 出口	72× 1.6T = 115 Tb/s
FP4 sparse 总算力	1.08 EFLOPS
机柜 TDP	约 120kW（含冷却）
价格	约 330 万美元/机柜

ConnectX-9 是这代机柜的隐性升级：单端口 1.6 Tb/s 相比 ConnectX-8 翻倍，延迟低于 0.5 微秒，支持 NVLink over IB 跨机柜互联。8 个机柜可组成 NVL576 域——576 颗 B300 Ultra 共享 130 TB/s 互联，是业界最大单一 NVLink 域，对万亿参数 LLM 训练至关重要。云端租用方面，行业口径（Nebius）B300 的租用价格约为 9.50 美元/GPU 小时，站内芯片数据库另记录 AWS 8 卡 B300 实例（p6-b200.48xlarge）单 GPU 小时价 11.70 美元，不同供应商价差明显。

在 token 成本维度，站内数据给出了关键洞察：B300 单价虽高，但以 Llama 70B 推理测算，FP4 量化下单 token 成本相比 H100 低约 61%——单价高不等于用得贵。

DGX Station：20 PFLOPS 的桌面超算​

2026 年 10 月的微软活动上，NVIDIA 预览了 DGX Station for Windows，核心配置：

• 芯片：GB300 Grace Blackwell Ultra Desktop Superchip；
• 一致性内存：748GB（252GB HBM3e + 496GB LPDDR5X）；
• 算力：最高 20 PFLOPS FP4；
• 模型能力：可在本地运行约 1 万亿参数模型；
• 软件：Linux 工具链经 WSL（Windows Subsystem for Linux）访问；
• 上市：2026 Q4，ASUS、Dell、HP、Lenovo 推出整机。

产品分层：1 PFLOPS 与 20 PFLOPS 之间​

DGX Station 的出现补全了 NVIDIA 桌面产品线的断层。站内芯片数据库记录的 RTX Spark（RTX DGX Spark）定位约 1 PFLOPS 级 FP4 算力的紧凑桌面开发机，而基于 GB300 Desktop Superchip 的 DGX Station 直接把桌面算力抬到 20 PFLOPS——20 倍的分层差距，对应着完全不同的用户画像：

维度	RTX Spark	DGX Station (GB300)
算力	约 1 PFLOPS FP4	最高 20 PFLOPS FP4
内存	统一紧凑内存	748GB 一致性内存
目标场景	个人开发、微调小型模型	本地万亿参数推理、企业级开发
价格量级	消费级/准专业级	高端工作站

WSL 桥接：Windows 企业市场的钥匙​

DGX Station for Windows 最值得玩味的细节是"Linux 工具链经 WSL 访问"。CUDA 生态的主场在 Linux，此前企业若要在 Windows 环境做本地 AI 开发，往往需要双机或虚拟化方案。WSL 桥接意味着：

1. 企业 IT 无需改变管理习惯：Windows 域、组策略、合规审计体系原样保留；
2. 开发者无需迁移工作流：PyTorch、TensorRT-LLM 等工具链在 WSL 内原生运行；
3. 数据不出本地：金融、医疗、政务等对数据合规敏感的行业，获得了一条"本地跑万亿参数模型"的合规路径。

这与 GB300 数据中心侧的统一内存设计一脉相承：Grace 上 480GB LPDDR5X 与 B300 上 288GB HBM3e 统一寻址，CPU 与 GPU 共享一致性内存池。桌面版把同样的架构哲学浓缩进一台工作站——数据搬运越少，推理经济性越好。

小结​

GB300 家族展示了 NVIDIA 的典型打法：一颗芯片，从数据中心机柜到桌面工作站全栈铺开。数据中心侧，B300 Ultra 用 288GB HBM3e 和 FP4 精度把推理 token 成本压到 H100 的四成以下；桌面侧，DGX Station 用 20 PFLOPS FP4 和 748GB 一致性内存把"本地大模型"从口号变成 Q4 可买的产品。而 Rubin R200 已在 H2 2026 接棒数据中心旗舰，GB300 的价值窗口正在收窄——但它建立的"统一内存 + 桌面到机柜分层"产品范式，将由 Vera Rubin 平台延续下去。

在 2026 年 4 月 22 日拉斯维加斯 Google Cloud Next '26 大会上，谷歌发布了第八代 TPU 的两款新品——训练专用的 TPU 8t 与推理优化的 TPU 8i。这是谷歌 TPU 家族诞生以来，第一次将训练与推理拆分至独立芯片。这一决策不仅重新定义了 TPU 的产品形态，也向整个 AI 算力行业释放了一个明确信号：训练与推理的工作负载特征已经分化到"一颗芯片通吃"不再经济的程度。

为什么要把训练和推理拆开​

传统上，TPU 一直走"一芯多用"路线——第七代 Ironwood 虽然以推理为主，但训练与推理仍在同一产品线上。而大模型进入智能体（Agentic AI）时代后，两种负载的差异被急剧放大：

• 训练追求极限吞吐与集群扩展性，需要海量 HBM 容量、超高互联带宽，对单次推理延迟不敏感；
• 推理则被成本、延迟和能效三重约束，KV Cache 读取、解码阶段的内存墙问题远比算力峰值更重要。

用同一颗芯片兼顾两者，必然在架构上互相妥协。谷歌选择彻底拆分：8t 的命名即"第 8 代 + training"，8i 即"第 8 代 + inference"。谷歌基础设施负责人 Amin Vahdat 对此表态："业界将受益于针对训练和推理各自需求专门优化的芯片。" CEO 皮查伊则从商业视角补充：谷歌要"以成本效益方式提供数百万智能体所需的大规模吞吐和低延迟"。

TPU 8t：训练专用，单 Pod 121 EFLOPS​

根据站内芯片卡数据，TPU 8t 的核心规格如下：

项目	TPU 8t（训练专用）
制程	TSMC 2nm
Die 设计	双计算 Die
单芯片 FP4 算力	12.6 PFLOPS
显存	8× HBM3e 12 层（约 216GB）
HBM 带宽	约 7 TB/s
Pod 规模	9,600 芯片
Pod HBM 总量	2 PB
Pod FP4 算力	121 EFLOPS（约为 Ironwood 的 3 倍）
集成 CPU	Arm Axion（64 核 Neoverse V2）
TDP	1,300 W
代工合作	博通（Broadcom）
云端上线	2026 H2

TPU 8t 有几个值得展开的架构要点。

其一，SparseCore 加速器。 8t 专门配备 SparseCore 处理嵌入查找（embedding lookup）带来的不规则内存访问模式——这正是 MoE 架构和推荐系统训练中最拖累 GPU 利用率的环节。站内卡显示其原生支持 Expert Parallel、1M+ token 长上下文训练以及 DPO/PPO/GRPO 等在线强化学习后训练范式。

其二，超大规模组网。 单 Pod 9,600 颗芯片经 ICI 3D Torus 与 Virgo 网络互联，单设施可扩展至 134,000 卡、跨站点扩展至 100 万卡以上，通过 JAX/Pathways 软件栈实现单集群超百万块 TPU 的协同训练。这意味着 Gemini 级别的 frontier 模型可以在单一 Pod 内完成训练。

其三，代际性能跃升。 谷歌官方口径是：同价格下 TPU 8t 性能达上代的 2.8 倍，每瓦性能提升 124%——训练侧的"每美元 token"经济学再次被改写。

TPU 8i：推理专精，384MB SRAM 加持​

TPU 8i 则把刀刃对准了推理成本。它的规格取向与 8t 截然不同：

项目	TPU 8i（推理专用）
制程	TSMC 2nm
核心设计	双张量核心 + CAE（集合通信加速引擎）
片上 SRAM	384 MB（Ironwood 的 3 倍）
显存	288 GB HBM3e
Pod 规模	1,152 芯片
Pod FP8 算力	11.6 EFLOPS
性价比	较 Ironwood 提升 80%
能效	较 Ironwood 提升 117%
散热	风冷 / 液冷均可
代工合作	联发科（MediaTek，首次）

三个细节尤其关键。第一，384MB 片上 SRAM 大幅缓解长上下文 KV Cache 的内存墙，配合 CAE 将集合通信延迟降低 5 倍，KV Cache 可跨芯片共享。第二，288GB 单芯片显存是当前最大显存的推理 ASIC，FP16 下可完整装载 70B 模型。第三，风冷可选意味着不需要液冷机房也能部署，把推理集群的落地门槛大幅拉低。

Gemini API、Vertex AI 推理、Anthropic Claude on Vertex 的在线服务均面向 TPU 8i 设计。性能提升 80%、每瓦性能提升 117%，加上单美元算力比 Ironwood 高约 70% 的推测口径，8i 的目标非常直白：让"每百万 token 成本"继续下探。

两款芯片的镜像对比​

指标	TPU 8t（训练）	TPU 8i（推理）
核心设计	双计算 Die	双张量核心 + CAE
片上 SRAM	—	384 MB
Pod 芯片数	9,600	1,152
Pod 算力	121 EFLOPS FP4	11.6 EFLOPS FP8
Pod HBM	2 PB	—
集成 CPU	Arm Axion	无
散热	第四代液冷	风冷/液冷
代工	博通	联发科

一个耐人寻味的差异：只有 8t 集成了 Arm Axion CPU。训练节点需要 CPU 做海量数据预处理与加载，而推理节点的瓶颈在芯片内部，主机侧负担较轻。这也说明 Axion 集成并非营销噱头，而是精确的负载驱动设计。

Axion 集成：全栈协同的深层意图​

Arm Axion 是谷歌自研的 64 核 Neoverse V2 CPU。将其集成进 TPU 节点，意味着 TPU 不再是纯粹的"加速器"，而是 TPU + CPU 协同的"超节点"——对标 NVIDIA 的 Vera CPU + Rubin GPU 组合。数据预处理、权重初始化、推理调度全部在节点内完成，消除了传统架构中主机 CPU 与加速器之间的数据搬运瓶颈。这是谷歌全栈（自研 CPU、自研 TPU、自研网络、自研框架）协同能力的集中体现。

与 NVIDIA 通用路线的分野​

谷歌的训练/推理拆分并非孤例。华为昇腾已经走出了同款路线——昇腾 950PR 面向训练、950DT 面向推理，同样是"代际相同、形态分化"。而 NVIDIA 至今坚持一颗 GPU 通吃训练与推理的通用路线，靠 CUDA 生态和 product segmentation（B 系列 / inference 专用 SKU）来分层。

两条路线的优劣可以放进一张表：

维度	专用拆分（谷歌/华为）	通用 GPU（NVIDIA）
单位成本效率	各负载最优化，性价比更高	存在为通用性付出的冗余
软件生态	需维护两套工具链	CUDA 一套通吃
客户灵活性	训练/推理集群需分别采购	一套集群弹性调度
演进节奏	每条线独立迭代	单一代际整体升级

对于自用负载极其明确的第一方厂商（谷歌、华为），拆分的经济性压倒一切；而 NVIDIA 面向的是千行百业的混合负载，通用性才是护城河。

TPU 生态的外溢：Google 之外正在成型​

还有一条容易被忽视的线索：TPU 正在从"谷歌内部资产"变成"开放生态"。前谷歌基础设施 VP Bikash Koley 跳槽至 TPU neocloud 创业公司 Crux AI——以 TPU 算力为核心商品、依托 Google Cloud 之外的基础设施提供云服务的商业层正在成型。加上 Anthropic 等重量级 TPU 大客户的存在，TPU 已经事实上成为 CUDA 之外最成熟的 AI 算力生态。两款芯片将于 2026 年晚些时候对外供应，届时 TPU 云市场的竞争格局值得持续观察。

小结​

TPU 8t 与 8i 的拆分，标志着 AI 算力竞争从"单芯片性能竞赛"进入"负载分化设计"的新阶段。训练芯片拼集群规模与吞吐，推理芯片拼每瓦、每美元与延迟——两种优化方向已经无法在单一架构内调和。谷歌用 TSMC 2nm、Axion 集成、SparseCore 与 CAE 给出了自己的答卷；华为昇腾的 PR/DT 双线则证明这不是孤立的赌注。对整个行业而言，2026 H2 这两款芯片正式对外供应后的市场反馈，将决定"训练/推理拆分"是否会成为下一代 AI 加速器的默认范式。

当 AI 的重心从训练转向推理，芯片设计的第一性原理也随之改变。Ironwood 是 Google 十年 TPU 路线上第一次明确"为推理而生"的一代，也是迄今为止性能最强、规模最大的一代。

从训练优先到推理优先​

2025 年 4 月的 Google Cloud Next 大会上，Google 正式发布第七代 TPU——Ironwood；同年 11 月宣布全面商用。与此前历代不同，Ironwood 是第一款专为"推理时代"设计的 TPU，目标场景是思考型（thinking）大模型、混合专家（MoE）架构和高并发推理负载。

这个定位转变的背景很直接：推理模型需要对同一段提示进行多步生成，计算量远超传统问答式模型，且用户侧对延迟极其敏感。Google 的判断是，推理阶段的瓶颈不在算术单元，而在内存容量、内存带宽和芯片间通信——这决定了 Ironwood 的三大设计重心。

单芯片规格：算力、内存与互连​

Ironwood 单芯片集成两个计算 die，FP8 峰值算力 4614 TFLOPS，BF16 为 2307 TFLOPS。内存与互连的提升幅度尤为可观：

指标	Ironwood（v7）	相对上代 Trillium
HBM3e 容量	192 GB（8 组堆栈）	提升至 6 倍
内存带宽	约 7.3 TB/s	提升至 4.5 倍
ICI 芯片间互连（双向）	1.2 TB/s	提升至 1.5 倍
每瓦性能（FP8）	提升至 2 倍	约 2 倍
SparseCore	第四代，面向超大规模嵌入	持续增强

192GB 的片上内存意味着单芯片即可容纳 70B 级模型的权重与 KV cache，配合 SparseCore 对推荐、排序类嵌入负载的加速，Ironwood 把 TPU 的能力边界从纯大模型扩展到金融与科学计算领域。据公开报道，新一代 TPU 单芯片功耗最高可达约 980W，因此必须 100% 采用液冷散热，Google 为此部署了第三代液冷基础设施。

集群层面：9216 颗芯片一个 Pod​

Ironwood 提供两种标准配置：256 颗芯片和 9216 颗芯片。满配 Pod 的 FP8 总算力达 42.5 ExaFLOPS，全 Pod 可直接寻址的 HBM 总量约 1.77PB，创下共享内存超算的公开纪录。支撑这一规模的关键是光学电路交换机（OCS）与 3D 环面网络：故障节点可以被绕开，业务从检查点快速恢复，可靠性和可维护性（RAS）贯穿整个设计。

在软件侧，Pathways 执行架构允许把数十万颗 TPU 组合成一个统一算力池。Anthropic 已宣布计划使用多达 100 万颗 TPU 服务 Claude 模型家族；据公开报道，Meta 亦在评估大规模采购，Google 甚至将 2026 年 TPU 出货量目标上调了 50%。

观察与小结​

Ironwood 的竞争力不来自单点规格，而来自"芯片—互连—散热—软件"的垂直整合。相比以通用 GPU 为核心的集群，TPU 路线牺牲了部分通用性，换来更高的系统效率与更低的单位 token 成本——这正是推理时代最看重的指标。对于构建推理密集型业务的企业，Ironwood 及其背后的 AI Hypercomputer 体系值得纳入选型视野；对于国产与第三方芯片厂商，Google 证明了自研加速器在超大规模下可以与 GPU 正面竞争，这条路径的方法论比任何单颗芯片都更有参考价值。