AI Compute Cards Wiki Editorial

在 AI GPU 抢走所有头条的年代，服务器 CPU 的战争并未结束，而是换了一种打法。AMD 把 Zen 6 架构的 EPYC Venice 推上 2nm，堆到 256 核，并让它成为 Helios 机架的主机侧大脑——这是一份关于"AI 时代 CPU 该干什么"的答案。

全球首款 2nm 数据中心 CPU​

EPYC Venice 于 2026 年 1 月 6 日在 CES 发布，是第六代 EPYC 数据中心处理器，也是全球首款采用 2nm 工艺的高性能处理器。苹果会在消费级处理器上首发台积电 2nm，但数据中心 2nm 的头衔属于 AMD——在 x86 阵营中，这是自 Zen 架构崛起以来 AMD 第一次在制程节点上同时领先所有对手。

其核心规格如下：

规格	参数
CPU 架构	Zen 6 / Zen 6C
制程工艺	台积电 2nm（N2）
核心数量	最高 256 核（Zen 6C 版）
线程数量	最高 512 线程
L3 缓存	1024MB（1GB）
CCD 配置	8 个 Zen 6C CCD（每 CCD 32 核）
内存通道	16 通道，单路带宽 1.6TB/s
PCIe	6.0
封装接口	全新 SP7
发布时间	2026 年 1 月 6 日（CES 2026）
量产时间	2026 年 5 月（已投入量产）

Venice 系列包含两个版本：高密度 Zen 6C 版本最高 256 核（8 个 CCD、每 CCD 32 核、1GB L3），面向高密度数据中心；标准 Zen 6 版本最高 192 核（16 个 CCD、每 CCD 12 核、768MB L3），面向通用数据中心。单核性能提升达 70%。

256 核的密度哲学：AI 节点中 CPU 的角色重定义​

Zen 6C 的设计哲学浓缩在一个数字里：每 CCD 32 核，比上代 Zen 5C 的 16 核直接翻倍。这让 AMD 只用 8 颗 CCD 就实现了 256 核——更少的芯粒数量意味着更低的封装成本、更简化的互联拓扑与更好的良率控制。这是典型的 chiplet 时代密度打法：不追求单核极限，而是追求单位封装面积与单位成本下的核心密度。

为什么 AI 数据中心需要 256 核？答案藏在 CPU 角色的转变里。在传统数据中心，CPU 是绝对主角；而在 Helios 这样的 AI 机架中，每托盘 4 颗 MI455X GPU 配 1 颗 Venice，CPU 的职责变成了数据搬运、内存管理、系统控制编排——它不再是算力的提供者，而是算力的"交通调度员"。

这个角色对 CPU 的要求恰好与 256 核匹配：数据预处理、Tokenization、KV Cache 管理、网络协议栈、存储 I/O，这些工作高度并行且不依赖单核性能，核心数量就是吞吐量。16 通道内存提供的 1.6TB/s 带宽（Turin 的 2 倍）与升级的 PCIe 6.0、CPU-GPU 互联带宽翻倍，都是为了同一个目标：让 GPU 永远不缺数据。在 AI 工厂里，一颗喂不饱 GPU 的 CPU，就是最贵的瓶颈。

2nm 双厂布局：台湾与亚利桑那的地缘对冲​

Venice 的另一个关键进展是产能布局：它已在台积电 2nm 产线启动量产，并将延伸至台积电美国亚利桑那工厂。这使 AMD 成为首个实现美国本土 2nm 量产的 x86 服务器 CPU 厂商。

这步棋的价值在地缘层面。美国政府对本土先进制程产能的战略诉求日益强烈，超大规模云厂商的采购决策中"美国制造"的权重持续上升；亚利桑那产线让 AMD 在满足主权 AI 与政府订单时拥有对手难以复制的选项。与此同时，台湾产线保障了主力产能与成本效率——双厂并行既是对冲地缘风险，也是对冲单一产线的产能与意外风险。对于一款要装进 OpenAI、Meta、微软数 GW 级 AI 工厂的 CPU，供应链韧性本身就是产品力。

竞争格局：Intel 的份额流失与 Vera 的正面压力​

服务器 CPU 市场的竞争压力来自两个方向。

一个方向是传统对手 Intel。分析师普遍认为 Intel 在服务器 CPU 市场持续丢失份额，甚至出现"卖出 Intel"的分析口径。在 AI 数据中心的建设热潮中，每新建一个机架，主机侧 CPU 的采购决策就发生一次——而 Helios 这类 AMD 自家机架方案，天然把 Venice 带进了原本属于 Xeon 的领地。

另一个方向来自 NVIDIA。AI 工厂正在重新定义 CPU 的形态：NVIDIA 为 Rubin 平台配套了自研的 Vera ARM CPU（88 核），试图用"GPU 加自家 CPU"的整合方案替代独立服务器 CPU。竞争压力已经有数字化的呈现——根据 Daytona 的 Vera CPU 智能体基准测试，Vera 在千个沙盒场景中耗时 10.8 秒，而 EPYC 9755 需要 88.4 秒。这一测试虽不能代表所有负载，但它揭示了一个真实趋势：NVIDIA 正在用专为 AI Agent 工作负载设计的 CPU 架构，向"AI 工厂该用什么 CPU"的话语权发起冲击。

AMD 的应对是把 Venice 做成开放生态的一部分：它不只服务 Helios，也通过 Dell、HPE、Supermicro、Lenovo 的 OEM 渠道进入各种第三方 AI 服务器。与 Vera 的封闭整合路线不同，Venice 的卖点是 x86 软件兼容性与部署灵活性——存量数据中心不需要重写一行代码。

小结​

EPYC Venice 的故事不是"更多核心、更先进制程"的常规升级，而是一次角色转型的样板：CPU 从数据中心的主角变成 AI 工厂的调度中枢，256 核与 1.6TB/s 内存带宽是为"数据搬运工"这个新岗位定制的装备。2nm 双厂布局提供了地缘对冲，x86 兼容性守住了开放生态的基本盘。它面对的挑战同样明确——向上要顶住 Vera 这类 AI 原生 CPU 架构的挤压，向下要继续收割 Intel 丢失的份额。AI 时代的 CPU 战争，才刚刚进入下半场。

GPU 是瑞士军刀，Etched 想做一把只切一种菜的刀。这家由哈佛辍学生创办的公司赌的是：既然超过九成生成式 AI 负载都是 Transformer，为什么还要为通用性付费？

把 Transformer 烧进硅片​

Sohu 是一颗只为 Transformer 设计的推理 ASIC，采用台积电 4nm 工艺。它的激进之处在于架构哲学：GPU 需要为 CUDA 图形、光栅化、通用 SIMD 等历史包袱保留大量面积，而 Sohu 把注意力机制、前馈网络、层归一化这些 Transformer 的标准操作直接固化为硬件数据流，省去控制逻辑与调度开销，把节省出的硅面积全部换成矩阵计算单元。

Etched 宣称由此带来极高的实际利用率（据其称真实负载下可达九成以上），这解释了其惊人的纸面数字：

指标	8 卡 Sohu 服务器（公司宣称）	8 卡 H100（对比口径）
Llama 70B 推理吞吐	超过 50 万 token/s	约 2.3 万 token/s
单芯片内存	144 GB HBM3E	80 GB HBM3
支持模型规模	经张量与专家并行可达 100 万亿参数	—
支持架构	仅限 Transformer 及其变体	通用

需要强调的是，这些数字均来自公司自述，尚缺乏独立第三方基准的全面验证，读者应将其视为方向性参考而非实测结论。

商业进展与资本故事​

Etched 2022 年成立，2023 年 3 月完成 540 万美元种子轮，2024 年 6 月由 Primary Venture Partners 与 Positive Sum 联合领投 A 轮，Peter Thiel 等天使参投；据公开报道，其累计融资超过 6 亿美元，估值一度达到约 50 亿美元量级。供应链方面与台积电合作流片，并与 Rambus 协作压缩芯片面积、加速上市节奏。

公司的软件策略同样是开源导向：宣称驱动、内核与服务栈将全部开源，开发者可以基于 PyTorch 生态直接迁移 Transformer 模型。目标客户是云厂商与高并发推理平台——实时语音智能体、代码树搜索、多播投机解码这类需要海量 token 吞吐的场景。

最大的风险：把所有鸡蛋放进 Transformer 的篮子​

专用化的反面是僵化。Sohu 不能运行 CNN、RNN 等非 Transformer 模型，混合负载的集群仍需 GPU 兜底；更深层的问题是架构演进风险——如果主流模型架构发生实质变化（比如状态空间模型或线性注意力大规模商用），已固化的硬件设计可能一夜贬值。这正是所有领域专用 ASIC 面临的经典困境：专用化红利与架构锁定风险的对称性。此外，从流片到大规模量产交付的工程爬坡，对一家年轻公司而言也是严峻考验。

小结与建议​

Sohu 代表了 AI 芯片光谱上最激进的一端：用架构锁定换取十倍量级的效率。判断其成败的关键时间窗口在未来一两年的实际交付与第三方评测。对采购方而言，现阶段合理的姿势是"小规模试点、窄场景验证"——选一个纯 Transformer、流量稳定、对成本敏感的推理业务做 PoC，用实测数据决定是否扩大部署；在软件成熟度得到验证之前，GPU 仍应作为混合架构的底座保留。

2026 年，美国对华 AI 芯片出口管制完成了从"推定拒绝"到"逐案审查"的历史性转向，同时附加关税、产能与安全三重枷锁。管制形态从"按芯片型号划线"演变为"按买家总部划线"，全球算力供应链随之重新绘制版图。

一年之内：政策的密集摇摆​

时间	事件	影响
2025 年 4 月	H20 出口需申请许可	英伟达计提 45 亿美元相关损失
2025 年 5 月	AI 扩散规则被暂停	全球分级许可框架搁置
2026 年 1 月	H200 转为逐案审查	TPP 低于 21000 且 DRAM 带宽低于 6500GB/s 的芯片可申请许可
2026 年 1 月	同步加征 25% 关税	相关芯片出口附带"收入分成"
2026 年 5 月	D:5 总部指南生效	管制对象从产品延伸到买家总部所在地
2026 年 8 月	英伟达财报指引	不假设任何来自中国的数据中心计算收入

新规则并非简单放松：对华出口总量受"不超过同期对美供应总 TPP 一半"的产能配额约束，每批产品须经美国第三方实验室检测验证，云端用途还需提交远程终端用户清单。英伟达甚至修改付款条款，要求中国客户全款预付，把政策风险完全转嫁给买方。

中国市场的受控交织​

尽管约束重重，需求依然旺盛。据公开报道，中国企业累计订购的 H200 级别芯片超过 200 万颗，字节跳动单年度采购金额据报高达 140 亿美元。作为对价，中国工信部引入"配对"要求：企业每进口一定数量海外芯片，须按比例配套采购以昇腾为主的国产处理器，形成"国产芯片承担推理与通用负载、海外芯片保留高价值训练"的混合算力部署模式。中美监管的双重合规压力，成为跨国采购团队的新常态。

与此同时，管制反向催化了国产替代的加速。据公开报道，华为 AI 芯片年收入正逼近 120 亿美元；BIS 甚至发布指南，提示昇腾 910B、910C 等芯片在全球范围内的交易也可能触发美方许可要求——管制的长臂正从硬件延伸到远程算力访问。2025 年 11 月出台、2026 年 11 月到期的"关联规则"暂停令，则让实体清单的覆盖范围悬而未决，进一步放大了政策的不确定性。

供应链的连锁反应​

合规物流让每颗输华芯片先赴美国检测再出口亚洲，交期延长、成本上升。更深层的挤压在制造端：H200 与 Blackwell 共享台积电 CoWoS 先进封装产能，对华订单直接排挤更高毛利产品的排产。英伟达已锁定台积电 2026 年约六成先进封装产能，其余厂商只能在剩余份额中竞争。2026 年 5 月，黄仁勋向媒体表示英伟达"基本已让出中国 AI 芯片市场"——对芯片巨头而言，中国市场的财务贡献正在从增长项退化为风险项。

结语：版图的三条断层线​

2026 年的供应链版图上，三条断层线已然清晰：美国以"逐案审查加关税"维持受控开放；中国以"配对采购加国产放量"构建双轨算力体系；其余国家则在两种体系之间摇摆观望。管制已经无法阻止算力需求的增长，只能改变算力的地理分布与成本结构。对行业观察者而言，比门槛数字更值得跟踪的，是每一次政策摇摆背后，供应链各方重新谈判的定价权。

选型 AI 芯片时，最容易被数字晃点的地方就是算力表。同一颗 H100，有的页面写 990 TFLOPS，有的写 1979 TFLOPS，两个都没错——错的是拿来做对比的那个人。这篇文章把算力口径拆开讲清楚。

稠密与稀疏：恰好两倍的差距​

稠密（dense）算力指计算单元对每一对数据都做真实乘加时的峰值吞吐；稀疏（sparse）算力则假设输入矩阵里有一定比例的零可以被跳过。NVIDIA 自 Ampere 架构起支持 2:4 结构化稀疏：每四个权重里固定有两个为零，硬件直接跳过对应的乘加，峰值算力恰好翻倍。

以公开规格为例：

芯片（SXM）	BF16 稠密	BF16 稀疏	FP8 稠密	FP8 稀疏
A100 80GB	约 312 TFLOPS	约 624 TFLOPS	不支持	不支持
H100	约 990 TFLOPS	约 1979 TFLOPS	约 1979 TFLOPS	约 3958 TFLOPS

NVIDIA 官方数据表中标注的数字默认就是稀疏口径，并附有"不采用稀疏技术时规格降低一半"的脚注。问题在于，这个脚注在传播过程中经常被丢掉，于是 1979 就成了流传更广的那个数。

为什么"注水"能成立：真实负载很少吃到稀疏红利​

结构化稀疏要兑现收益，前提相当苛刻：模型必须经过配套的剪枝与微调，让权重收敛到 2:4 的稀疏模式，且精度损失可接受；推理软件栈还要支持稀疏数据布局。现实是，主流大模型的训练和推理几乎都以稠密方式运行，市面上真正把结构化稀疏打满的生产级部署屈指可数。换句话说，稀疏算力是一张"理论上限的支票"，多数负载兑不了现。

除了稀疏口径，规格表里还埋着几层口径差：精度档位（FP4 数字天然比 BF16 大数倍）、单芯还是整机（机柜级数字除以 GPU 数才有可比性）、峰值还是持续（散热和功耗墙会让持续算力明显低于峰值）。厂商倾向把对自己最有利的那一格放到宣传页首行，这不是造假，而是"选择性呈现"。

四步把规格表读出真实算力​

1. 统一精度：对比双方换算到同一精度档，BF16 对 BF16，FP8 对 FP8，绝不跨档比较。
2. 还原稠密值：看到带稀疏角标的数字，先除以二再进表。粗略经验是，宣传数字越大越可能是稀疏或低精度口径。
3. 确认统计边界：是单芯片、单模组还是整机柜数字；是否有双芯封装的合并口径。
4. 换算成业务指标：用你的模型参数量和显存带宽反推 tokens 上限，与标称算力互相校验。算力再高，喂不饱就是虚的。

小结​

稠密算力才是大多数真实负载能摸到的天花板，稀疏算力是需要软硬件全套配合的期权。选型时把所有候选芯片统一到"同精度、稠密、单芯"的口径上做对比，再用显存带宽和互连带宽交叉验证，就能过滤掉大部分注水成分。记住一条朴素规律：如果某个宣传数字比同代竞品高得离谱，先查它的口径，而不是急着惊叹。

同一颗芯片，FP4 算力是 FP16 的十倍——这不是魔法，而是数值格式的游戏。2026 年，FP4 已成为旗舰 AI 芯片的标配，华为更推出自研 HiF8 格式宣称"精度接近 FP16"。低精度到底牺牲了什么、换来了什么？本文一次讲清。

浮点格式科普：位数与动态范围的权衡​

计算机用浮点数表示小数，格式由三部分组成：符号位、指数位（决定动态范围）和尾数位（决定精度）。AI 训练与推理的历史，就是一部不断"砍位数"的历史：

格式	总位数	指数/尾数	动态范围	典型用途
FP32	32	8/23	极大	科学计算、训练基准
TF32	19	8/10	大	Ampere 起的训练加速
BF16	16	8/7	大（同 FP32 指数）	大模型训练主流
FP16	16	5/10	中	传统混合精度
FP8	8	4/3 或 5/2	小	训练与推理加速
FP4	4	2/1	极小	大规模推理

规律很清晰：每砍一半位数，算力大约翻一倍——乘法器的面积与功耗近似随位数的平方增长，FP8 的张量核心天然比 FP16 快一倍，FP4 又比 FP8 快一倍。代价是动态范围急剧收缩：FP8 的表示范围只有 FP16 的几十分之一，FP4 更是只能表达十几到几十个离散值。大模型之所以"敢"用低精度，靠的是两项补救：逐 block 的缩放因子（把数值归一到格式能表达的区间）和海量参数带来的统计冗余。

Transformer Engine：自适应精度的工程答案​

低精度的难点在训练：梯度跨越多个数量级，格式选大了浪费算力，选小了梯度下溢训练崩溃。NVIDIA 的解法是 Transformer Engine（TE）：

• 第一代在 Hopper 上实现 FP8 自动切换；第二代（Blackwell）引入 FP4/FP6；
• 第三代（Rubin）支持硬件级自适应精度压缩，不需要重写模型代码即可动态切换精度——覆盖 FP4/FP6/FP8/FP16/BF16/TF32/FP32/FP64。

工作原理是逐层分析张量的数值分布：对分布平稳的层用 FP4，对敏感层自动回退 FP8 或 BF16。开发者不改代码，硬件与框架在运行时完成"每层选档"。这把低精度的使用门槛从"数值专家专属"降到了"默认开启"。

落到算力数字上：Rubin R200 提供 FP4 推理 50 PFLOPS、FP4 训练 35 PFLOPS、FP8/FP6 17.5 PFLOPS（均为 sparse 口径），相比 B200 的 FP4 约 10 PFLOPS 提升达 5 倍。

三种 FP4 方案对比：NVFP4、MXFP4 与 OCP 标准​

FP4 只有 4 个 bit，如何组织这些 bit 成了路线分歧：

维度	NVIDIA NVFP4	AMD MXFP4	OCP MX 标准
分组缩放	每 16 元素一组 E4M3 缩放 + 二级张量缩放	每 32 元素一组共享缩放因子	定义 FP4/FP6/FP8 的 microscaling 框架
设计取向	精度优先，双级缩放压误差	开放标准优先，跨厂商兼容	行业互操作
代表硬件	Rubin R200（FP4 50 PFLOPS）	MI455X（MXFP4 40.3 PFLOPS）	AMD、微软等共同推动

AMD MI455X 的精度阶梯同样遵循 OCP 体系：MXFP4 40.3 PFLOPS，MXFP6 与 MXFP8 各约 20.1 PFLOPS——位数减半、算力翻倍的规律清晰可见。NVIDIA 的 NVFP4 则通过更细粒度的双级缩放在同等位数下保留更多精度，代价是与 MX 生态不完全兼容。两条路线之争的实质是：精度保真度与生态开放性的权衡。

华为 HiF8：低精度高保真的差异化路线​

在 FP4 军备竞赛之外，华为给出了另一种思考。昇腾 950 系列首次引入自研 HiF8 格式——FP8 的位宽、FP16 的精度：

• 精度接近 FP16，算力比 FP16 提升 2 倍：传统 FP8 因指数/尾数分配激进，在训练中常出现精度损失，HiF8 通过重新分配位与缩放机制，把 FP8 位宽用出接近 FP16 的保真度；
• 配合 FP4 格式，整体算力利用率提升 30%+：HiF8 承担对精度敏感的训练主力计算，FP4 承担推理与容忍误差的部分，两者分工让芯片算力真正"跑得满"；
• SIMD + SIMT 双编程模型配合：Da Vinci v5 架构延续 SIMD 高效向量计算，新增 SIMT 支持灵活调度，配合 HiF8 提供昇腾 Core（ASIC）与 GPGPU 双生子型号，内存访问粒度从 512 字节细化到 128 字节。

昇腾 950 的算力配置印证了这条路线：FP8 1 PFLOPS、FP4 2 PFLOPS，训练仍以 FP8/BF16 为主、FP4 用于推理。与 NVIDIA"激进压精度换峰值"不同，华为选择"低位宽但高保真，保训练质量"。

低精度与模型质量的真实权衡​

厂商宣传中低精度近乎"免费午餐"，实际权衡需要冷静看待：

• 训练：FP8/BF16 混合精度已是主流且质量损失可控；FP4 训练仍处早期，对超大规模模型需要精细的逐层策略，HiF8 这类高保真格式正是为此而生；
• 推理：FP4 权重量化的质量损失在多数对话任务上难以察觉，但在数学推理、代码生成等长链任务上可能出现累积误差；
• 评估陷阱：低精度基准分数好看，不等于业务指标不掉——用你自己的真实负载做 A/B 验证，比看 datasheet 可靠得多。

稀疏算力口径：为什么厂商数字都是 sparse​

细心的读者会发现所有厂商算力数字都标注"sparse"（稀疏）。这是因为结构化稀疏技术把矩阵中一半为零值的元素跳过计算，理论上可让吞吐翻倍：sparse 数字 = dense 数字 × 2。

以 Rubin R200 为例，FP4 推理 50 PFLOPS 是 sparse 口径，dense 口径约为 25 PFLOPS；MI455X 的 FP16 矩阵算力 5 PFLOPS，含结构化稀疏为 10.1 PFLOPS。sparse 数字反映的是最佳情况的硬件上限，实际模型因稀疏度达不到 50%，通常拿不到翻倍收益。横向对比芯片时务必确认口径一致，否则对比没有意义。

给开发者的实操建议​

1. 训练默认 BF16 或 FP8：BF16 生态最成熟；FP8 配合 Transformer Engine 类自适应机制已可放心用于主流大模型，这是当前性价比最高的一档；
2. 推理大胆上 FP8：对质量影响极小，吞吐收益直接翻倍，应作为推理部署的默认选项；
3. FP4 分场景推进：对话、检索、推荐类负载可率先切换 FP4（NVFP4 或 MXFP4）；数学与代码等高精度敏感任务先做质量评测再灰度；
4. 确认算力口径：对比硬件时统一 dense/sparse 与格式口径，用真实模型的端到端 token 吞吐做最终裁决；
5. 关注高保真低精度格式：HiF8 的"FP8 位宽、FP16 保真"思路值得跟踪，尤其当你的训练在 FP8 上出现质量回退时。

小结​

从 FP32 到 FP4，每一次位宽减半都是一次算力翻倍的机会，也是一次精度风险的博弈。NVIDIA 用第三代 Transformer Engine 把自适应精度做成"默认开启"，AMD 押注 MXFP4 开放标准，华为则以 HiF8 走出"低精度高保真"的差异化路线。低精度不是无脑降档，而是一门在算力、精度与生态之间找平衡的手艺——用好它，同样的芯片预算可以多买一倍的智能。

黄仁勋在发布时说，GB200 NVL72 是一台"大 GPU"。这不是营销修辞：72 颗 Blackwell GPU 通过九层 NVSwitch 连成单一 NVLink 域，任何两卡之间的通信都不必经过机柜外网络。理解这台机器，关键在理解它如何消灭"节点边界"。

机柜解剖：18 个计算托盘、9 个交换托盘​

GB200 NVL72 的基本单元是 GB200 超级芯片：一颗 72 核 Grace CPU（Arm Neoverse V2）通过 NVLink-C2C 以 900GB/s 的缓存一致性互联挂载两颗 B200 GPU。18 个 1U 计算托盘各装两颗超级芯片，合计 36 颗 Grace 与 72 颗 B200；机柜中部竖插 9 个 NVSwitch 托盘，用约 3 公里长的铜缆把所有 GPU 织成一张完整无阻塞的 NVLink 5.0 交换网。

指标	GB200 NVL72 单机柜
GPU/CPU	72 颗 B200 + 36 颗 Grace（72 核 Neoverse V2）
FP4 算力（稀疏）	1.44 EFLOPS
FP8 算力（稀疏）	约 720 PFLOPS
GPU 显存合计	13.4TB HBM3e（每 GPU 192GB）
CPU 内存合计	约 17TB LPDDR5X（每 Grace 480GB）
NVLink 总带宽	130TB/s（每 GPU 1.8TB/s 双向）
机柜功耗	约 120kW，强制液冷
机柜价格	据公开报道约 200 万至 300 万美元

为什么"一个 NVLink 域"如此重要​

在上一代 HGX H100 体系里，8 卡节点内部靠 NVLink 互联，跨节点只能走 InfiniBand，带宽低一到两个数量级。任何需要 8 卡以上张量并行的任务，一旦集合通信溢出节点，单卡有效带宽会骤降一个数量级，通信时间反过来吞掉算力收益。

NVL72 的解法是把域直接扩大 9 倍：72 卡全对全互联后，万亿参数稠密模型或巨型 MoE 的张量并行、长上下文注意力的 KV Cache 共享，都可以在机柜内完成。配合 Grace 的缓存一致性设计，HBM 与 LPDDR5X 组成约 30TB 的统一可寻址内存池，CPU 与 GPU 之间无需显式拷贝。这就是"一个大 GPU"的实质：对并行策略而言，机柜边界消失了。

Grace CPU 的角色同样关键。它不是通用主机，而是专为 AI 服务器设计的 Arm 处理器：每颗 480GB LPDDR5X 提供约 4TB/s 的内存带宽，远高于 x86 服务器；数据预处理、token 化、KV Cache 管理这类原本消耗 GPU 时间的任务，被下放给 Grace，让 GPU 专注矩阵运算。

什么业务才配得上这 120kW​

NVL72 解决的是"单节点装不下"的问题，而不是所有问题。据公开报道，全机柜价格 200 万至 300 万美元，功耗约 120kW，整机 1.36 吨——标准数据中心大门都进不去，液冷改造按每兆瓦数百万美元计。

适合 NVL72	不适合 NVL72
万亿参数稠密模型训练与推理	70B 以下稠密模型（8 卡节点足够）
大规模 MoE 的全对全路由	常规 200B 以下 MoE 微调
超长上下文、单域 KV Cache 共享	标准企业级推理服务
前沿实验室的多机柜 AI 工厂	预算敏感的租赁型业务

一个实用的判断门槛：当你的张量并行度或 KV Cache 体积明显超过 8 卡节点的物理上限时，NVL72 才开始产生不可替代的价值。多数企业负载（百亿到两三千亿参数）用 HGX B200 节点做扩展，每 token 成本反而更低。

小结​

GB200 NVL72 的本质是把"集群"压缩成"一台设备"：用 130TB/s 的机柜内 NVLink、30TB 统一内存和 Grace 的算力卸载，消灭节点间通信这个老敌人。它是为万亿参数时代和 AI 工厂设计的基建产品——确认你的模型真的需要 72 卡一个域，再确认你的机房能承受 120kW 液冷，这两关都过了，它就是目前最强的单机柜答案。

同一颗 GB300 Grace Blackwell Ultra 芯片，既能撑起 350 万美元级的数据中心机柜，也能塞进一台放在办公桌上的 DGX Station。2026 年 10 月微软活动上预览的 DGX Station for Windows，让这个"双面故事"变得更加完整。本文依据站内芯片数据库，梳理 GB300 在 Blackwell 家族中的定位、桌面与数据中心的产品分层，以及 WSL 桥接对 Windows 企业市场的意义。

GB300 在 Blackwell 家族中的定位​

GB300 是 NVIDIA 第三代 Grace Blackwell 超级芯片，2025 H2 发布。其代际演进脉络清晰：

指标	GH200 (2023-Q3)	GB200 (2024-Q4)	GB300 (2025 H2)
GPU	H100	B200	B300 Ultra
CPU	Grace 72 核	Grace 72 核	Grace 72 核
GPU 内存	96GB HBM3	192GB HBM3e	288GB HBM3e
GPU 带宽	3.35 TB/s	8 TB/s	10 TB/s
NVLink 域内	60 TB/s	130 TB/s	130 TB/s
网络	ConnectX-7 400G	ConnectX-8 800G	ConnectX-9 1.6T
FP4 sparse（单 GPU）	N/A（FP8 2 PF）	10 PF	15 PF
TDP（GPU）	1000W	1000W	1400W

GB300 超级芯片 = 2 颗 B300 Ultra GPU + 1 颗 Arm Grace CPU（72 核 Neoverse V2），通过 900 GB/s 的 NV-HBI 高速接口配对。据站内芯片数据库，单 Superchip FP4 sparse 算力 30 PFLOPS、FP8 dense 7.5 PFLOPS、GPU 侧总显存 576GB HBM3e，Superchip 模块单价约 7-8 万美元。

B300 Ultra：288GB HBM3e 的推理特化​

B300 Ultra（Blackwell Ultra）是 Blackwell 的中期升级版本，2026 年 1 月正式出货。据站内芯片数据库：

• 显存：288GB HBM3e（12-Hi 堆叠），相比 B200 的 192GB 提升 50%，可单卡加载 FP16 的 70B 模型并保留 100GB+ 给 KV Cache；
• 算力：FP4 稀疏 30 PFLOPS、FP8 密集 7 PFLOPS，相比 B200 均提升约 56%；
• 实测：DeepSeek-R1 Prefill 吞吐 22,476 TGS，相比 H200 提升 8 倍；短输出场景提升 20 倍。

需要说明的是，站内 b300-ultra 卡按单卡口径记录 FP4 稀疏 30 PFLOPS，而 gb300 卡的代际对比表按单 GPU 口径记 15 PFLOPS（Superchip 两颗合计 30 PFLOPS），两个数据源口径存在差异，读者引用时需注意区分。B300 的制程仍为台积电 4NP，升级重心放在显存容量与 FP4 精度上——这正是"中期升级"的典型特征：架构不动，围绕推理经济性做增量。

NVL72 机柜：数据中心旗舰形态​

36 颗 GB300 组成 NVL72 机柜（72 颗 B300 Ultra + 36 颗 Grace），据站内芯片数据库：

项目	配置
HBM 总量	20.7 TB HBM3e
LPDDR5X 总量	34.6 TB
NVLink 5 域内	130 TB/s 全互联
ConnectX-9 出口	72× 1.6T = 115 Tb/s
FP4 sparse 总算力	1.08 EFLOPS
机柜 TDP	约 120kW（含冷却）
价格	约 330 万美元/机柜

ConnectX-9 是这代机柜的隐性升级：单端口 1.6 Tb/s 相比 ConnectX-8 翻倍，延迟低于 0.5 微秒，支持 NVLink over IB 跨机柜互联。8 个机柜可组成 NVL576 域——576 颗 B300 Ultra 共享 130 TB/s 互联，是业界最大单一 NVLink 域，对万亿参数 LLM 训练至关重要。云端租用方面，行业口径（Nebius）B300 的租用价格约为 9.50 美元/GPU 小时，站内芯片数据库另记录 AWS 8 卡 B300 实例（p6-b200.48xlarge）单 GPU 小时价 11.70 美元，不同供应商价差明显。

在 token 成本维度，站内数据给出了关键洞察：B300 单价虽高，但以 Llama 70B 推理测算，FP4 量化下单 token 成本相比 H100 低约 61%——单价高不等于用得贵。

DGX Station：20 PFLOPS 的桌面超算​

2026 年 10 月的微软活动上，NVIDIA 预览了 DGX Station for Windows，核心配置：

• 芯片：GB300 Grace Blackwell Ultra Desktop Superchip；
• 一致性内存：748GB（252GB HBM3e + 496GB LPDDR5X）；
• 算力：最高 20 PFLOPS FP4；
• 模型能力：可在本地运行约 1 万亿参数模型；
• 软件：Linux 工具链经 WSL（Windows Subsystem for Linux）访问；
• 上市：2026 Q4，ASUS、Dell、HP、Lenovo 推出整机。

产品分层：1 PFLOPS 与 20 PFLOPS 之间​

DGX Station 的出现补全了 NVIDIA 桌面产品线的断层。站内芯片数据库记录的 RTX Spark（RTX DGX Spark）定位约 1 PFLOPS 级 FP4 算力的紧凑桌面开发机，而基于 GB300 Desktop Superchip 的 DGX Station 直接把桌面算力抬到 20 PFLOPS——20 倍的分层差距，对应着完全不同的用户画像：

维度	RTX Spark	DGX Station (GB300)
算力	约 1 PFLOPS FP4	最高 20 PFLOPS FP4
内存	统一紧凑内存	748GB 一致性内存
目标场景	个人开发、微调小型模型	本地万亿参数推理、企业级开发
价格量级	消费级/准专业级	高端工作站

WSL 桥接：Windows 企业市场的钥匙​

DGX Station for Windows 最值得玩味的细节是"Linux 工具链经 WSL 访问"。CUDA 生态的主场在 Linux，此前企业若要在 Windows 环境做本地 AI 开发，往往需要双机或虚拟化方案。WSL 桥接意味着：

1. 企业 IT 无需改变管理习惯：Windows 域、组策略、合规审计体系原样保留；
2. 开发者无需迁移工作流：PyTorch、TensorRT-LLM 等工具链在 WSL 内原生运行；
3. 数据不出本地：金融、医疗、政务等对数据合规敏感的行业，获得了一条"本地跑万亿参数模型"的合规路径。

这与 GB300 数据中心侧的统一内存设计一脉相承：Grace 上 480GB LPDDR5X 与 B300 上 288GB HBM3e 统一寻址，CPU 与 GPU 共享一致性内存池。桌面版把同样的架构哲学浓缩进一台工作站——数据搬运越少，推理经济性越好。

小结​

GB300 家族展示了 NVIDIA 的典型打法：一颗芯片，从数据中心机柜到桌面工作站全栈铺开。数据中心侧，B300 Ultra 用 288GB HBM3e 和 FP4 精度把推理 token 成本压到 H100 的四成以下；桌面侧，DGX Station 用 20 PFLOPS FP4 和 748GB 一致性内存把"本地大模型"从口号变成 Q4 可买的产品。而 Rubin R200 已在 H2 2026 接棒数据中心旗舰，GB300 的价值窗口正在收窄——但它建立的"统一内存 + 桌面到机柜分层"产品范式，将由 Vera Rubin 平台延续下去。

在 2026 年 4 月 22 日拉斯维加斯 Google Cloud Next '26 大会上，谷歌发布了第八代 TPU 的两款新品——训练专用的 TPU 8t 与推理优化的 TPU 8i。这是谷歌 TPU 家族诞生以来，第一次将训练与推理拆分至独立芯片。这一决策不仅重新定义了 TPU 的产品形态，也向整个 AI 算力行业释放了一个明确信号：训练与推理的工作负载特征已经分化到"一颗芯片通吃"不再经济的程度。

为什么要把训练和推理拆开​

传统上，TPU 一直走"一芯多用"路线——第七代 Ironwood 虽然以推理为主，但训练与推理仍在同一产品线上。而大模型进入智能体（Agentic AI）时代后，两种负载的差异被急剧放大：

• 训练追求极限吞吐与集群扩展性，需要海量 HBM 容量、超高互联带宽，对单次推理延迟不敏感；
• 推理则被成本、延迟和能效三重约束，KV Cache 读取、解码阶段的内存墙问题远比算力峰值更重要。

用同一颗芯片兼顾两者，必然在架构上互相妥协。谷歌选择彻底拆分：8t 的命名即"第 8 代 + training"，8i 即"第 8 代 + inference"。谷歌基础设施负责人 Amin Vahdat 对此表态："业界将受益于针对训练和推理各自需求专门优化的芯片。" CEO 皮查伊则从商业视角补充：谷歌要"以成本效益方式提供数百万智能体所需的大规模吞吐和低延迟"。

TPU 8t：训练专用，单 Pod 121 EFLOPS​

根据站内芯片卡数据，TPU 8t 的核心规格如下：

项目	TPU 8t（训练专用）
制程	TSMC 2nm
Die 设计	双计算 Die
单芯片 FP4 算力	12.6 PFLOPS
显存	8× HBM3e 12 层（约 216GB）
HBM 带宽	约 7 TB/s
Pod 规模	9,600 芯片
Pod HBM 总量	2 PB
Pod FP4 算力	121 EFLOPS（约为 Ironwood 的 3 倍）
集成 CPU	Arm Axion（64 核 Neoverse V2）
TDP	1,300 W
代工合作	博通（Broadcom）
云端上线	2026 H2

TPU 8t 有几个值得展开的架构要点。

其一，SparseCore 加速器。 8t 专门配备 SparseCore 处理嵌入查找（embedding lookup）带来的不规则内存访问模式——这正是 MoE 架构和推荐系统训练中最拖累 GPU 利用率的环节。站内卡显示其原生支持 Expert Parallel、1M+ token 长上下文训练以及 DPO/PPO/GRPO 等在线强化学习后训练范式。

其二，超大规模组网。 单 Pod 9,600 颗芯片经 ICI 3D Torus 与 Virgo 网络互联，单设施可扩展至 134,000 卡、跨站点扩展至 100 万卡以上，通过 JAX/Pathways 软件栈实现单集群超百万块 TPU 的协同训练。这意味着 Gemini 级别的 frontier 模型可以在单一 Pod 内完成训练。

其三，代际性能跃升。 谷歌官方口径是：同价格下 TPU 8t 性能达上代的 2.8 倍，每瓦性能提升 124%——训练侧的"每美元 token"经济学再次被改写。

TPU 8i：推理专精，384MB SRAM 加持​

TPU 8i 则把刀刃对准了推理成本。它的规格取向与 8t 截然不同：

项目	TPU 8i（推理专用）
制程	TSMC 2nm
核心设计	双张量核心 + CAE（集合通信加速引擎）
片上 SRAM	384 MB（Ironwood 的 3 倍）
显存	288 GB HBM3e
Pod 规模	1,152 芯片
Pod FP8 算力	11.6 EFLOPS
性价比	较 Ironwood 提升 80%
能效	较 Ironwood 提升 117%
散热	风冷 / 液冷均可
代工合作	联发科（MediaTek，首次）

三个细节尤其关键。第一，384MB 片上 SRAM 大幅缓解长上下文 KV Cache 的内存墙，配合 CAE 将集合通信延迟降低 5 倍，KV Cache 可跨芯片共享。第二，288GB 单芯片显存是当前最大显存的推理 ASIC，FP16 下可完整装载 70B 模型。第三，风冷可选意味着不需要液冷机房也能部署，把推理集群的落地门槛大幅拉低。

Gemini API、Vertex AI 推理、Anthropic Claude on Vertex 的在线服务均面向 TPU 8i 设计。性能提升 80%、每瓦性能提升 117%，加上单美元算力比 Ironwood 高约 70% 的推测口径，8i 的目标非常直白：让"每百万 token 成本"继续下探。

两款芯片的镜像对比​

指标	TPU 8t（训练）	TPU 8i（推理）
核心设计	双计算 Die	双张量核心 + CAE
片上 SRAM	—	384 MB
Pod 芯片数	9,600	1,152
Pod 算力	121 EFLOPS FP4	11.6 EFLOPS FP8
Pod HBM	2 PB	—
集成 CPU	Arm Axion	无
散热	第四代液冷	风冷/液冷
代工	博通	联发科

一个耐人寻味的差异：只有 8t 集成了 Arm Axion CPU。训练节点需要 CPU 做海量数据预处理与加载，而推理节点的瓶颈在芯片内部，主机侧负担较轻。这也说明 Axion 集成并非营销噱头，而是精确的负载驱动设计。

Axion 集成：全栈协同的深层意图​

Arm Axion 是谷歌自研的 64 核 Neoverse V2 CPU。将其集成进 TPU 节点，意味着 TPU 不再是纯粹的"加速器"，而是 TPU + CPU 协同的"超节点"——对标 NVIDIA 的 Vera CPU + Rubin GPU 组合。数据预处理、权重初始化、推理调度全部在节点内完成，消除了传统架构中主机 CPU 与加速器之间的数据搬运瓶颈。这是谷歌全栈（自研 CPU、自研 TPU、自研网络、自研框架）协同能力的集中体现。

与 NVIDIA 通用路线的分野​

谷歌的训练/推理拆分并非孤例。华为昇腾已经走出了同款路线——昇腾 950PR 面向训练、950DT 面向推理，同样是"代际相同、形态分化"。而 NVIDIA 至今坚持一颗 GPU 通吃训练与推理的通用路线，靠 CUDA 生态和 product segmentation（B 系列 / inference 专用 SKU）来分层。

两条路线的优劣可以放进一张表：

维度	专用拆分（谷歌/华为）	通用 GPU（NVIDIA）
单位成本效率	各负载最优化，性价比更高	存在为通用性付出的冗余
软件生态	需维护两套工具链	CUDA 一套通吃
客户灵活性	训练/推理集群需分别采购	一套集群弹性调度
演进节奏	每条线独立迭代	单一代际整体升级

对于自用负载极其明确的第一方厂商（谷歌、华为），拆分的经济性压倒一切；而 NVIDIA 面向的是千行百业的混合负载，通用性才是护城河。

TPU 生态的外溢：Google 之外正在成型​

还有一条容易被忽视的线索：TPU 正在从"谷歌内部资产"变成"开放生态"。前谷歌基础设施 VP Bikash Koley 跳槽至 TPU neocloud 创业公司 Crux AI——以 TPU 算力为核心商品、依托 Google Cloud 之外的基础设施提供云服务的商业层正在成型。加上 Anthropic 等重量级 TPU 大客户的存在，TPU 已经事实上成为 CUDA 之外最成熟的 AI 算力生态。两款芯片将于 2026 年晚些时候对外供应，届时 TPU 云市场的竞争格局值得持续观察。

小结​

TPU 8t 与 8i 的拆分，标志着 AI 算力竞争从"单芯片性能竞赛"进入"负载分化设计"的新阶段。训练芯片拼集群规模与吞吐，推理芯片拼每瓦、每美元与延迟——两种优化方向已经无法在单一架构内调和。谷歌用 TSMC 2nm、Axion 集成、SparseCore 与 CAE 给出了自己的答卷；华为昇腾的 PR/DT 双线则证明这不是孤立的赌注。对整个行业而言，2026 H2 这两款芯片正式对外供应后的市场反馈，将决定"训练/推理拆分"是否会成为下一代 AI 加速器的默认范式。

当 AI 的重心从训练转向推理，芯片设计的第一性原理也随之改变。Ironwood 是 Google 十年 TPU 路线上第一次明确"为推理而生"的一代，也是迄今为止性能最强、规模最大的一代。

从训练优先到推理优先​

2025 年 4 月的 Google Cloud Next 大会上，Google 正式发布第七代 TPU——Ironwood；同年 11 月宣布全面商用。与此前历代不同，Ironwood 是第一款专为"推理时代"设计的 TPU，目标场景是思考型（thinking）大模型、混合专家（MoE）架构和高并发推理负载。

这个定位转变的背景很直接：推理模型需要对同一段提示进行多步生成，计算量远超传统问答式模型，且用户侧对延迟极其敏感。Google 的判断是，推理阶段的瓶颈不在算术单元，而在内存容量、内存带宽和芯片间通信——这决定了 Ironwood 的三大设计重心。

单芯片规格：算力、内存与互连​

Ironwood 单芯片集成两个计算 die，FP8 峰值算力 4614 TFLOPS，BF16 为 2307 TFLOPS。内存与互连的提升幅度尤为可观：

指标	Ironwood（v7）	相对上代 Trillium
HBM3e 容量	192 GB（8 组堆栈）	提升至 6 倍
内存带宽	约 7.3 TB/s	提升至 4.5 倍
ICI 芯片间互连（双向）	1.2 TB/s	提升至 1.5 倍
每瓦性能（FP8）	提升至 2 倍	约 2 倍
SparseCore	第四代，面向超大规模嵌入	持续增强

192GB 的片上内存意味着单芯片即可容纳 70B 级模型的权重与 KV cache，配合 SparseCore 对推荐、排序类嵌入负载的加速，Ironwood 把 TPU 的能力边界从纯大模型扩展到金融与科学计算领域。据公开报道，新一代 TPU 单芯片功耗最高可达约 980W，因此必须 100% 采用液冷散热，Google 为此部署了第三代液冷基础设施。

集群层面：9216 颗芯片一个 Pod​

Ironwood 提供两种标准配置：256 颗芯片和 9216 颗芯片。满配 Pod 的 FP8 总算力达 42.5 ExaFLOPS，全 Pod 可直接寻址的 HBM 总量约 1.77PB，创下共享内存超算的公开纪录。支撑这一规模的关键是光学电路交换机（OCS）与 3D 环面网络：故障节点可以被绕开，业务从检查点快速恢复，可靠性和可维护性（RAS）贯穿整个设计。

在软件侧，Pathways 执行架构允许把数十万颗 TPU 组合成一个统一算力池。Anthropic 已宣布计划使用多达 100 万颗 TPU 服务 Claude 模型家族；据公开报道，Meta 亦在评估大规模采购，Google 甚至将 2026 年 TPU 出货量目标上调了 50%。

观察与小结​

Ironwood 的竞争力不来自单点规格，而来自"芯片—互连—散热—软件"的垂直整合。相比以通用 GPU 为核心的集群，TPU 路线牺牲了部分通用性，换来更高的系统效率与更低的单位 token 成本——这正是推理时代最看重的指标。对于构建推理密集型业务的企业，Ironwood 及其背后的 AI Hypercomputer 体系值得纳入选型视野；对于国产与第三方芯片厂商，Google 证明了自研加速器在超大规模下可以与 GPU 正面竞争，这条路径的方法论比任何单颗芯片都更有参考价值。

千卡以下可以拍脑袋，万卡规模必须算账。自建、租用、混合三种路线的资金量级差出一个数量级，本文把三本账摊开对比。

一、自建万卡：钱花在哪​

以 8 卡 HGX H100 服务器为例，2026 年海外 OEM 整机报价约 25 万至 32 万美元。一万张卡即 1,250 台服务器，仅 GPU 节点硬件就在 3.1 亿至 4 亿美元。这还只是起点：按 SemiAnalysis 的估算，每台服务器还要追加约 6 万美元的网络、存储与机柜配套；万卡集群的组网用 IB 交换机、光模块、分布式存储通常再占总投资的 15% 至 25%。此外，8 卡 H100 仅 GPU 满载功耗就达 5.6kW，整机按 8kW 计，一万张卡对应约 10MW 的 IT 负载，加上制冷冗余实际要按 12 至 15MW 规划变电站。多数城市拿到这个量级的电力指标，周期以年计。

自建的真实优势在于三点：规模化后的单位成本低（自持 H100 三年摊销的全成本可低到每卡时 1.35 至 1.92 美元）、数据完全可控、以及资产残值（三年后 H100 二手仍能回收两至三成价值）。代价是资金门槛高、建设周期长、以及技术迭代风险——Blackwell 与 Rubin 世代逐步铺开后，H100 的残值曲线会进一步下探。

二、租用万卡：单价与长协​

云端路线的公开价格区间如下。海外超大规模云厂商的 H100 按需价约每卡时 3.85 至 4.20 美元；AI 云（neocloud）约 1.99 至 2.59 美元；一年期长协可压到 1.45 至 1.85 美元。国内方面，第三方平台 H100 单卡时租报 28 至 35 元，部分渠道低至 9.5 元上下；A100 80G 约 16 至 22 元；4090 约 2 至 4 元。值得注意的是 2026 年供需趋紧，国内高端卡租赁价格年内整体上涨了约三成，H200 月租已到 6.7 万至 9 万元一台（8 卡）的水平。

路线	资金形态	每卡时成本（H100 口径）	建设周期	主要风险
自建万卡	一次性 3.5 至 5 亿美元，另加年度电力运维	约 1.35 至 1.92 美元（三年摊销）	12 至 24 个月	技术迭代、残值缩水、电力审批
全租（按需）	零 CAPEX，按量付费	1.99 至 4.20 美元	即时	价格上涨、资源被回收、限流
全租（长协）	年度承诺消费	1.45 至 1.85 美元	1 至 3 个月	违约金、利用率不足仍全额付费
混合	基线 CAPEX 加峰值 OPEX	综合约 1.6 至 2.2 美元	6 至 12 个月	调度复杂、两套运维体系

三、混合路线：多数公司的最优解​

实践中的最优解往往是"基线自建，峰值租用"。把长期稳定的负载（如在线推理、常态化实验）放到自建集群，把训练冲刺期、大版本迭代的峰值需求用云端弹性消化。判断混合比例的一个实用公式：自建规模 = 全年负载曲线的 P50 水位，超过 P50 的部分交给租赁。这样自建资产的利用率能稳定在 70% 以上——这正是自建成本优于按需租赁的盈亏平衡点（约七成利用率）。

规模在 1,000 至 3,000 卡之间的团队还有一条中间路线：整机柜租赁或"可搬迁"设备。国内市场已出现 910C 单台月租 5.8 万元、910B 系列 1.35 万至 1.9 万元的可搬迁报价，适合项目制团队按训练周期占有机柜而不用建机房。

四、结尾决策清单​

1. 训练需求不确定、产品未验证：全租按需，别买任何硬件。
2. 负载稳定、三年内确定持续投入、能拿到电力指标：自建，但按 P50 而非峰值规划规模。
3. 两者之间（多数公司）：混合路线，自建基线加长协兜底加按需峰值。
4. 国内团队拿不到进口卡：评估昇腾 910B 或 910C 的租赁与可搬迁方案，先跑通生态再谈规模。
5. 无论哪条路，签长协前先做一个月的真实负载压测，用实测利用率反推合同量——万卡规模下，15% 的利用率误差就是数千万美元的浪费。