88 篇博文 含有标签「AI Infrastructure」

2023 年 11 月的 Ignite 大会上，微软一口气发布了两颗自研芯片：Cobalt 100 CPU 与 Maia 100 AI 加速器。前者进展顺利，后者则成为观察云厂商自研芯片难度的一个绝佳样本。

架构与规格：一块围绕数据中心设计的 ASIC​

Maia 100 是一颗大型 ASIC：台积电 5nm 工艺加 CoWoS-S 封装，裸片面积约 820 平方毫米，集成 1050 亿晶体管，是当时该工艺节点上最大的芯片之一。核心规格如下：

规格项	Maia 100
制程与封装	台积电 5nm，CoWoS-S
裸片面积	约 820 平方毫米
晶体管数量	约 1050 亿
内存	64 GB HBM2e，总带宽 1.8 TB/s
片上 SRAM	数百 MB 量级，用于暂存 KV cache
热设计功耗	支持 700W，云端预配置约 500W
网络接口	12 个 400GbE，自定义 RoCE 类以太网协议
数据格式	FP32、BF16、FP8 及微软主导的 MX 微缩放格式

值得注意的是内存选择：Maia 100 采用的是偏成熟的 HBM2e 而非更新的 HBM3，反映出首发产品在供应链成熟度与成本之间的保守权衡。张量单元之外，芯片还配有超标量向量处理器与异步 DMA 引擎，可以在后台预取数据，让计算与搬运充分重叠；多层 Mesh 片上网络则把大矩阵（Prefill）与小矩阵（Decode）流量分开调度，以保住高 QPS 下的尾延迟。

系统级创新：真正的亮点在芯片之外​

Maia 100 最有价值的部分其实是芯片之外。微软没有沿用标准机架，而是设计了更宽的定制机架，并开发了一套"侧挂"（Sidekick）液冷系统——一个类似散热器的独立机柜，把冷却液循环到贴在芯片表面的冷板上。这套闭式液冷架构让微软可以在既有数据中心里部署高功耗 AI 服务器，这是"数据中心即一台计算机"思路的典型体现。

软件侧，微软选择拥抱开源生态：Maia SDK 与 PyTorch、ONNX Runtime 深度集成，并引入 OpenAI 的 Triton 语言降低算子开发门槛。开发路径也很务实——Copilot、Bing 等内部业务优先部署，企业客户则继续在 Azure 上租用英伟达与 AMD 的旗舰实例，形成"自研加开放"的双轨制。

复盘：三条教训​

第一，落地速度慢于预期。据公开报道，Maia 100 从发布到规模化商用经历了远超计划的爬坡期，内存选型偏旧、软件生态从零起步都是原因；微软不得不在 2025 年 11 月的 Ignite 上推出接续产品 Maia 200 以追赶竞品。第二，自研芯片无法脱离客户的真实负载迭代——微软虽与 OpenAI 有深度协同设计，但随着 OpenAI 转向与博通等伙伴自研，Maia 的验证闭环被削弱。第三，系统级创新（液冷、机架、网络）虽然不如芯片参数吸睛，却决定了能否真正部署。

小结​

Maia 100 是一份诚恳的"第一版答卷"：架构不激进、内存不冒进、软件借力开源，赌的是系统级整合能力。它没有颠覆什么，但它验证了一条路——云厂商的自研芯片不必一击必胜，而要在迭代中建立自己的设计能力与供应链话语权。这个教训对所有正在启动自研芯片项目的团队都适用。

过去二十年，基础设施的调用方一直是人或人写的程序。现在多了一类新调用方：AI Agent。它们通过 MCP（Model Context Protocol）等标准协议自动发现并调用工具与算力，请求模式与人类完全不同。这不只是协议新闻，而是运维模型的变迁。

MCP 为什么值得基础设施团队关注​

MCP 由 Anthropic 于 2024 年 11 月开源，基于 JSON-RPC 定义了 Agent 发现与调用外部能力的统一接口，核心原语包括可调用的工具、可读取的资源与提示模板。它的扩张速度在基础设施协议史上罕见：据公开数据，SDK 月下载量从发布之初的约 200 万增长到 2026 年 3 月的约 9700 万，仅用 16 个月；活跃公开服务器超过一万个；2025 年 12 月 Anthropic 将其捐赠给 Linux 基金会旗下的智能体 AI 基金会，OpenAI、Google、微软、AWS 等成为共建成员——协议已从厂商项目变成行业公共设施。

对基础设施团队，这意味着 Agent 调用正在成为新的主流流量：一个采购 Agent 会连续调用检索、数据库与推理服务，一个编码 Agent 会密集触发构建与部署工具。它们的请求模式是机器节奏——高频、突发、无耐心、重试激进。

维度	人类调用方	Agent 调用方
请求节奏	白天为主，人工间隔	全天候，机器节奏，爆发式
重试行为	失败后通常人工确认	毫秒级自动重试，容易放大故障
请求路径	单次交互为主	长链条多跳，一次任务数十次调用
成本归因	按用户或团队	按任务与 Agent 身份，需新账本
权限模型	长期凭证加角色	需任务级授权与自动过期

运维要接住的三件事​

第一，容量与限流。Agent 的重试风暴会在下游已经过载时雪上加霜，限流必须放在 Agent 身份维度而不是 IP 维度；对推理 API 的调用要支持任务级预算上限，防止一个失控循环把算力预算烧穿。第二，可观测性。Agent 的调用是长链条，需要把任务 ID 贯穿到每次工具与模型调用，才能回答"这次任务花了多少钱、慢在哪一跳"。第三，安全。协议生态已经出过真实事故：2025 年 9 月，一个每周下载约 1500 次的第三方 MCP 服务器被发现被植入恶意代码，把所有外发邮件密送给攻击者；据公开统计，2025 年围绕 MCP 生态披露的安全漏洞超过 14 个。提示注入、过度授权与仿冒服务器是当前三大威胁向量，企业侧应审计服务器来源、最小化工具权限，并优先使用支持 OAuth 2.1 与会话级授权的新版规范。

从协议到算力调度​

再往远看一步：当 Agent 成为一等调用方，"算力即服务"的界面也在变化。Agent 不关心你后面是 H100 还是国产推理卡，它关心 SLA 与价格——这意味着推理平台需要暴露类似 MCP 工具描述那样的标准化能力清单（模型、延迟档位、单价），供 Agent 在线比价与调度。多模型路由、按 SLA 分层的推理池，会从人工配置变成 Agent 自动协商。

写在最后​

给基础设施团队三条建议：第一，现在就为 Agent 流量建立独立的身份、限流与计费维度，别等它混进人类流量里无法拆分；第二，接入 MCP 生态时把服务器来源审计与权限最小化当成上线门槛，协议标准化不等于安全标准化；第三，把推理服务的能力与价格接口标准化，准备好被 Agent "自动采购"。下一波流量的增长曲线，将由不会睡觉的调用方画出。

过去十年，存储金字塔的分工非常清晰：HBM 伺候计算核心，DRAM 扛系统内存，NAND 做持久化。2026 年，Agentic AI 的 KV Cache 把这条界线搅得七零八落——上下文越来越长，显存越来越装不下，HBM-DRAM-NAND 三层正在被重新定义。

Agentic AI 的 KV Cache 问题​

传统聊天机器人的一次请求，上下文不过几千 token；而 Agent 的工作方式是在一个会话里连续执行几十步任务——浏览网页、读写文件、调用工具、自我反思——每一步都要携带完整的对话历史。上下文从 8K 涨到 100 万 token（NVIDIA RTX Spark 已支持最长 100 万 token 上下文），KV Cache 的体积也随之线性膨胀。

问题在于 KV Cache 必须常驻显存才能避免重复计算。以 Rubin R200 为例，它配备 288GB HBM4、带宽 22TB/s，看似充裕，但在多路并发服务时，模型权重占掉一块，剩余空间很快就会被活跃会话的 KV Cache 吃满。上一代 Blackwell Ultra（B300）之所以把显存从 192GB 提到 288GB HBM3e，官方场景里明确有一条就是"长上下文 KV Cache 288GB 完整保留"——显存的增长节奏，正在被 KV Cache 而不是模型参数牵着走。

当单卡显存装不下时，业界给出的答案是：别把 KV Cache 困在 HBM 里，让它沿着存储金字塔往下走。

三层金字塔：角色被重新定义​

Vera Rubin 平台是这场重构的最佳样本。它的"七芯片堆栈"包含 Vera CPU、Rubin GPU、NVLink 6 交换机、ConnectX-9 SuperNIC、BlueField-4 DPU、Spectrum-6 以太网交换机和 Groq 3 LPX，其中内存系统呈现清晰的三层结构：

层级	介质	代表硬件	容量/带宽	新角色
热数据层	HBM4	Rubin R200（8 堆栈）	288GB / 22TB/s	活跃 KV Cache、模型权重
温热数据层	LPDDR5X	Vera CPU	1.5TB / 1.2TB/s	KV 缓存卸载、与 HBM 构成单一一致性内存池
冷数据层	NAND（SSD）	BlueField-4 驱动的推理上下文内存存储平台	PB 级	会话持久化与跨请求复用，token 吞吐最高提升 5 倍

关键变化有三点。其一，LPDDR5X 与 HBM4 之间建立了单一一致性内存池——Vera Rubin NVL72 机柜内，72 颗 GPU 共享 20.7TB HBM4，36 颗 Vera CPU 提供 54TB LPDDR5X，KV Cache 可以在不损失一致性语义的前提下在两层间流动。其二，BlueField-4 不再只是安全卸载卡，而是被定位为"推理上下文内存存储平台"，把结束回合的会话上下文写入 NAND，下次请求命中时直接回灌，省去重新 prefill 的算力开销。其三，NAND 从"存储盘"升级为"上下文内存"，这是金字塔底层几十年来第一次获得计算语义。

HBF、PIM、M900：案例对比表​

围绕这条三层链路，整个存储产业在 2026 年密集出招：

方案	厂商	技术要点	目标场景
HBF（高带宽闪存）	SK海力士（AI Infra Summit 2026 "New Spectrum" 组合）	给 NAND 加上类 HBM 的超宽接口	KV Cache 冷层，带宽接近 DRAM 量级
PIM 存内计算	SK海力士	在 DRAM 附近完成部分计算，减少搬运	KV Cache 原地更新
eSSD + SALT-KV	SK海力士	面向 KV Cache 语义优化的键值存储栈	推理上下文持久化
OceanStor M900	华为	上下文内存存储集群，灵衢总线一跳直连 PB 级 KV Cache，SSD 读写寿命延长 16 倍	昇腾超节点的 KV 基建
NVHBM 定制内存	AWS Annapurna × NVIDIA	面向 AI 负载的定制 HBM 方案	云厂商定制化
超密度服务器内存模组	美光（2026-09-15）	单模组容量再上一档	DRAM 温热层扩容

SK海力士还专门设立了 SK hynix Ventures（9 月 18 日落地硅谷），用投资孵化初创公司的方式押注"内存即基础设施"这条新赛道。值得注意的是华为 OceanStor M900：它与昇腾 960 超节点同期发布，通过灵衢总线一跳直连，把 PB 级 KV Cache 集群变成超节点的"外挂记忆体"，并通过磨损均衡等手段把 SSD 读写寿命延长 16 倍——上下文存储的写放大问题，第一次被当成显性的工程指标来攻克。

协同设计取代采购​

这轮重构背后，是产业关系的转向：存储不再是"按目录价采购的标准件"，而是与加速器协同设计的定制组件。NVIDIA 联合 AWS Annapurna 做 NVHBM，华为为昇腾自研 HBM 并配套 OceanStor M900，SK海力士直接下场定义 KV 存储软件栈。美光甚至在 9 月的口径中预测 NAND 与 DRAM 短缺将持续到 2028 年——在供不应求的市场里，谁能锁定定制内存供给，谁就握住了推理产能。

对芯片厂商而言，算力竞争的上半场比的是 FLOPS，下半场比的将是"每 token 需要搬运多少字节"。带宽金字塔的每一层接口，都成了架构设计的一等公民。

对推理 TCO 的影响​

这套三层结构对成本模型的影响是直接的。第一，KV Cache 卸载到 DRAM 和 NAND 后，同样规模的 HBM 可以服务更多并发会话，单 token 的 HBM 摊销成本下降。第二，BlueField-4 上下文存储平台宣称 token 吞吐最高提升 5 倍，本质上是把重复 prefill 的 GPU 算力换成了廉价的 NAND 读取——用存储的"宽"换算力的"贵"。第三，内存已占整机 TCO 约 40%（HBM 涨价后的行业口径），存储分层做得越细，整体成本曲线越平缓。

小结​

KV Cache 正在把存储金字塔从"容量阶梯"改造成"温度阶梯"：HBM 保活跃、DRAM 承接温热会话、NAND 做上下文持久化，三层之间以一致性内存池和专用存储平台（BlueField-4、OceanStor M900）贯通。SK海力士的 HBF/PIM/SALT-KV 与美光的超密度模组说明，存储大厂已经从跟随 AI 转向定义 AI 基础设施。下一阶段推理成本的胜负手，不在 GPU 的 FLOPS 表格上，而在三层存储之间的数据搬运路线上。

当 MI430X 与第六代 EPYC 确定驱动欧洲 LUMI-AI 超算，AMD 的 HBM4 家族不再只是 PPT 上的参数表，而是正在被国家级算力项目、超大规模云厂商与 AI 实验室同时验证的产品矩阵。本文盘点 MI400 系列的完整版图，以及它背后的收购组合拳。

MI400 系列：一张覆盖三大场景的产品矩阵​

MI400 系列于 CES 2026 正式发布，在 Advancing AI 2026 上确认了清晰的 SKU 分层。三款产品覆盖了数据中心采购的三种典型场景：

型号	定位	显存	算力	出货时间
MI455X	前沿训练 + 推理旗舰（Helios 机架专用）	432GB HBM4	40 PFLOPS 级 MXFP4（dense）	2026 H2 起量产
MI430X	HPC / 主权 AI（硬件 FP64 加速）	432GB HBM4	硬件 FP64 288 TFLOPS	2027 H1
MI350P	企业存量升级（风冷 PCIe）	144GB HBM3E	4.6 PFLOPS MXFP4	已出货

再往远看，AMD 已在 Advancing AI 2026 预告了下一代 MI500 系列：CDNA 6 架构、台积电 2nm、HBM4E 显存，预计 2027 年发布，由 AMD 与 OpenAI 联合定义开发。从 MI400 到 MI500，加上此前的 MI350（CDNA 4）与 MI300X，AMD 的产品路线第一次形成了以年度为节奏的完整梯队，而非零星的单点反击。

值得注意的是，MI455X 与 MI430X 共享同一套 CDNA 5 加 432GB HBM4 的硬件底座——AI 吞吐优先与 FP64 精度优先通过同一平台的不同调校实现，这大幅摊薄了研发与生态适配成本。

MI430X：用 FP64 锁定国家级超算​

MI430X 是 MI400 家族中最具象征意义的一款。它与 MI455X 同样配备 432GB HBM4、23.3TB/s 带宽，但核心差异在于原生硬件级 FP64 双精度：288 TFLOPS，约为 NVIDIA Vera Rubin 的 8.7 倍。这是一个精准卡位——双精度科学计算是 NVIDIA 在消费级 AI 浪潮中相对弱化的领域，而它恰恰是国家级超算的刚需。

MI430X 已经锁定两套国家级系统：

• 美国 ORNL "Discovery"：橡树岭国家实验室新一代超算，2028 年部署；
• 法国 "Alice Recoque"：GENCI 与 CEA 联合打造的欧洲系统。

AMD 官方已在 8 月 4 日财报电话会确认，MI430X 正在 ORNL 与法国 Jean Zay 的 exascale 级超算中运行。而根据最新进展，MI430X 与第六代 EPYC 将共同驱动欧洲 LUMI-AI 超算——LUMI 是欧洲最强的超算系统之一，其 GPU 分区此前基于 MI250X，此次升级至 HBM4 平台，是欧洲主权 AI 对 AMD 路线的直接背书。

超算背书对 ROCm 生态的拉动​

国家级超算项目的价值远超订单本身。超算是软件生态最好的试炼场：混合精度科学计算、大规模 MPI 并行、异构调度，这些极端场景会把 ROCm 的短板逼出来并倒逼修复。同时，超算项目通常要求开源软件栈与长期维护承诺，这与 ROCm 的开源路线天然契合。ORNL、Jean Zay、Alice Recoque、LUMI-AI 构成的"超算联盟"，正在为 ROCm 提供一种商业市场买不到的信誉资产——当欧洲与美国的公共算力项目都选择 AMD 时，商业客户的采购顾虑会显著降低。

平台协同：EPYC Venice 与 2nm 双线量产​

MI400 家族的算力释放离不开主机侧的配套。第六代 EPYC "Venice"（Zen 6，最高 256 核，1.6TB/s 内存带宽）已在台积电 2nm 产线启动量产，并延伸至美国亚利桑那工厂——这使 AMD 成为唯一在两个地区都有先进制程量产能力的 x86 服务器 CPU 厂商。下一代 "Verano" 已为 AI 工作负载预留设计，将延续 CPU 与 GPU 平台协同的打法。

CPU 与 GPU 的协同不是简单的搭配销售。在 Helios 机架中，每托盘 4 颗 MI455X 配 1 颗 Venice，CPU 负责数据搬运与调度，CPU-GPU 互联带宽是上一代的 2 倍。对推理集群而言，主机侧的数据预处理好坏直接影响 GPU 利用率——这正是 AMD"CPU 加 GPU 双引擎"路线在 AI 时代的复利。

收购组合拳：内存、推理与空间智能​

围绕 MI400 平台，AMD 在 2026 年展开了一组方向明确的收购：

收购标的	能力方向	战略意图
MEXT	内存访问优化	强化 HBM4 时代的显存子系统效率
Taalas	快速推理硬件	补充推理专用架构能力
World Labs	空间智能 / 物理 AI	卡位世界模型与机器人时代

三笔收购分别对应内存、推理与物理 AI 三条线，加上与 OpenAI、Meta 各约 1000 亿美元级的合作以及 Anthropic、微软的合作，AMD 正在从"卖芯片"走向"卖 AI 基础设施能力"。这组拼图的完整解读，我们将在后续文章中展开。

市场机会与追赶空间​

AMD 管理层看到的机会窗口清晰而巨大：推理与数据中心 CPU 合计 2200 亿美元的市场机会。推理是 AI 商业化落地的主战场——训练市场已被 NVIDIA 牢固占据，但推理市场的格局远未定型，对显存容量、单位 token 成本与开放生态的敏感度更高，这正是 MI400 家族的差异化所在。

但差距同样不能回避：AMD 的市值仍不足 NVIDIA 的五分之一，CUDA 生态的迁移成本依然存在。分析师普遍认为，这种差距本身就是追赶空间——如果 MI400 系列与 Helios 的 6GW 级订单按期兑现，AMD 在 AI 加速器市场的份额将获得结构性提升。

小结​

MI400 系列的意义在于"家族成型"：MI455X 打前沿训练与推理，MI430X 用 FP64 锁定 HPC 与主权 AI，MI350P 覆盖企业存量升级，MI500 预告下一代——四个层次共享平台底座，配合 EPYC Venice 的 2nm 双厂量产，AMD 第一次拿出了一条完整、连贯、可预期的数据中心产品线。LUMI-AI 等超算的背书正在为 ROCm 生态积累信誉，而 MEXT、Taalas、World Labs 的收购则为这张版图补上了内存与物理 AI 的拼图。2027 年 MI430X 正式出货时，我们将能看到这套组合拳的完整威力。

传统数据中心为百万种应用服务，Fairwater 只为一件事而生：把数十万颗 GPU 拧成一台跨越州界的巨型计算机。这代表微软对 AI 基础设施的全新定义。

两座站点，一座超级工厂​

Fairwater 系列首站位于威斯康星州芒特普莱森特，2025 年 9 月对外公布，初始投资 33 亿美元，后续微软又追加 40 亿美元，威斯康星总投入超过 70 亿美元。据微软官方信息，该园区占地 315 英亩，三座建筑屋顶面积合计约 120 万平方英尺，采用双层高密度架构；设备于 2026 年 4 月启动上线调试，首座设施于 2026 年 6 月 23 日宣布全面投运。第二座 Fairwater 站点位于佐治亚州亚特兰大，已于 2025 年 10 月率先运营。

真正的巧思在于联网。两座站点通过专用光纤 AI 广域网直连，构成微软首座跨州"AI 超级工厂"：大型训练任务可拆分到两地协同执行，微软称此举可将部分训练周期从数月压缩到数周。威斯康星园区还规划了第二座设施，预计 2028 年建成，微软并计划在美国其他地区复制这一模式。

Fairwater 关键事实	数据
威斯康星首站投运	2026 年 6 月 23 日
亚特兰大站点投运	2025 年 10 月
威斯康星园区规模	315 英亩，约 120 万平方英尺
威斯康星投资	初始 33 亿美元，总计超过 70 亿美元
加速器规模	数十万颗英伟达 GB200 与 GB300
单机架 GPU 数量	72 颗 Blackwell GPU（NVLink 域）

工程细节：密度、液冷与扁平网络​

Fairwater 与传统云数据中心的差异体现在三个维度。计算密度上，每个机架在单一 NVLink 域内封装 72 颗英伟达 Blackwell GPU，为当时云平台最高机架吞吐水平；散热上，园区采用设施级闭环液冷，冷却液初次灌注后循环使用，微软宣称该设计将数据中心对当地水资源的消耗降到极低水平；网络架构上，单一扁平的高速网络让数十万颗加速器可以像一台机器一样协同工作。

这种设计的本质是把云数据中心的"多租户、多应用"模型彻底翻转为"单一巨型任务"模型：传统机房同时运行数百万个互不相关的工作负载，而 Fairwater 让一个前沿模型训练任务横跨百万级硬件部件。微软将其纳入更宏大的 Azure AI 超级工厂架构，与早期 AI 超算及 Azure 全球算力池互连，目标是让每吉瓦电力产出最大数量的有效 AI token。公司提出的路线图是每 18 到 24 个月将 AI 训练能力提升 10 倍。

电力与竞争背景​

支撑这一切的底层约束是电力。据公开报道，微软已签署多项天然气发电协议（总规模接近 5 吉瓦），并通过建设太阳能电厂与预付电网费用锁定供电，以分散跨州选址带来的电力需求压力。竞争对手的动向同样激进：xAI 的 Colossus 2 已成为全球首个吉瓦级训练集群，Meta、谷歌、亚马逊均在以吉瓦为单位扩张。UBS 等机构追踪 Fairwater 部署节奏并将其纳入 Azure 增长预测，显示资本市场已把 AI 数据中心建设视为云厂商竞争的核心变量。

小结​

Fairwater 的意义超出了一座数据中心：它验证了"分布式超级工厂"这一全新基建形态——训练任务不再受限于单一园区的电力与空间，而是可以在数百英里外的站点间自由调度。当 AI 竞赛的胜负手从芯片数量转向电力、散热与互联的系统工程，微软用 Fairwater 给出了自己的答案模板。

当前主流大模型几乎清一色采用混合专家（MoE）架构。很多人知道它"省算力"，但少有人意识到：省下的算力并没有变成免费的午餐，而是被换成了对显存容量和互连带宽的更高要求。这笔账值得每个选型的人算一遍。

参数量与算力解耦​

稠密模型里每个参数在每个 token 上都要参与计算；MoE 把 Transformer 中的前馈层复制成许多"专家"，由路由器为每个 token 挑选少数几个激活。以 DeepSeek-V3 为例，据其公开技术报告：总参数 671B，每 token 仅激活 37B，路由层包含 256 个路由专家外加 1 个常驻共享专家，每个 token 激活其中 8 个路由专家。计算量因此比同规模稠密模型低了一个数量级，但训练成本与模型能力并未等比打折——671B 总参的学习容量还在。

Mixtral 8x7B 是更早的参照：总参数约 47B，每 token 激活约 13B。规律一致：FLOPS 可以省，参数一个都省不掉。

瓶颈迁移：从算力到显存与通信​

对硬件而言，MoE 带来三个直接后果。

其一，显存容量压力反而更大。 671B 参数即使量化到 FP8 也要 600GB 以上，权重必须常驻显存等待被路由命中。算力需求降了，容量需求没降，"用小卡跑 MoE"的幻想在容量这一关就会破灭。

其二，通信成为新瓶颈。 专家分布在不同的卡上，每个 token 都要经历 dispatch（发给选中的专家所在卡）与 combine（收回结果）两次 all-to-all 通信，且跨层反复发生。DeepSeek 团队在技术报告中专门讨论了跨节点 all-to-all 的通信瓶颈，并用 DualPipe 流水线做计算通信重叠来掩盖它。对芯片来说，这意味着互连带宽的权重显著上升，节点内 NVLink 级带宽与跨节点网络都直接决定 MoE 的实际效率。

其三，负载不均衡。 热门专家可能被打爆，冷门专家闲置，硬件利用率随之波动。DeepSeek-V3 在推理部署中采用冗余专家策略，复制高负载专家来均衡压力——这又进一步推高了显存占用。

稠密与 MoE 的硬件账对照​

维度	稠密模型	MoE 模型
每 token 算力	与参数量成正比	远低于参数量
显存容量需求	等于全部参数	等于全部参数（一个不少）
主要通信模式	数据并行的 AllReduce	专家并行的 All-to-All
负载特征	均匀可预测	随路由波动，需均衡策略
选型关键	带宽与算力平衡	容量、互连带宽、通信软件栈

实操建议​

为 MoE 服务选硬件时，按优先级排：先看显存容量能否装下全量参数加运行时开销；再看节点内互连是否支撑专家并行的 all-to-all，卡间带宽不足时专家应尽量收拢在节点内；跨节点部署要评估网络带宽与通信计算重叠能力。推理侧尽量用大 batch，让分散命中各专家的 token 聚合成足够大的矩阵，维持算力利用率。一句话总结：MoE 时代，"算力够不够"的提问正在被"显存装不装得下、数据送不送得过来"取代。

一张 H100 大部分时间利用率不到三成，是很多企业 GPU 平台的常态——整卡分发的模式对小任务极不友好。GPU 池化就是要把一张卡切成多份安全地分出去，核心矛盾在三个词：切分粒度、隔离强度、计费公平。

五条切分路线，三种隔离等级​

业界主流的切分技术可以按隔离强度分成三档：硬件级、软件级和无隔离。

技术	隔离级别	切分粒度	厂商绑定	适用场景
MIG	硬件级，独立显存控制器与计算核	固定档位，A100/H100 最多 7 实例	仅 NVIDIA 数据中心卡	不可信租户、有合规要求的场景
vGPU	虚拟化层，hypervisor 隔离	灵活，可热迁移	NVIDIA 且需授权	云桌面、VM 形态的多租户
HAMi	软件级，CUDA 调用拦截限流	显存可到 GB 级、算力可到百分比	跨厂商，支持 NVIDIA、昇腾、寒武纪等	企业内部混部、开发测试
时间分片	无显存隔离，轮流占卡	整卡轮转	各家均有	内部可信批量任务
MPS	无隔离，共享上下文	并发进程共享算力	NVIDIA	大量小型协作进程

MIG 是唯一提供真正硬件隔离的方案：每个实例有独立的显存控制器与计算引擎，一个实例内存溢出不可能波及邻居。但它的限制同样明确：只支持较新的数据中心卡、档位固定不可在线调整、NVLink 不跨实例，而且改档位需要整节点排空重启。时间分片最省事也最危险——显存是共享池，一个租户的显存泄漏可以砸掉同卡所有邻居，绝不能当作租户边界。HAMi（已进入 CNCF 孵化阶段）走中间路线：在调度层做细粒度虚拟化，通过拦截 CUDA 调用强制执行显存与算力上限，对业务代码透明，且是五条路线里唯一跨芯片厂商的。

信任边界决定技术选型​

选型的第一问不是"哪个性能好"，而是"租户之间信不信任"。同一公司内部团队共享一张卡，软件级限流足够；面向外部客户的推理平台，租户与租户之间只有整卡或 MIG 才够格——因为共享的不只是 GPU，还有内核驱动、宿主机内核与控制平面，软件拦截层挡不住恶意工作负载。CNCF 相关指南的表述很直白：同一信任域内才共享硅片，跨信任域只共享整卡。

还有一个常见误区值得点名：部署了 HAMi 但资源申请只写整卡数、不写显存与算力限额，结果每张卡还是被一个任务独占，池化等于没做。此外，混合策略往往是最优解：生产推理用 MIG 保隔离，内部开发测试走 HAMi 提灵活性，老卡开时间分片充分利旧。调度协议层面，Kubernetes 的 DRA（动态资源分配）已在 1.34 版本转正，用结构化的 ResourceClaim 取代整数计数，是各家方案正在迁移的统一底座。

计费：按分配开票，按用量审计​

池化之后最麻烦的是"钱怎么算"。成熟的做法是双轨制：计费以分配量为准（租户占了多少 GB 显存、多少比例算力、占了多长时间），与队列和配额联动，这是账单的依据；同时用 DCGM 之类工具采集实际利用率，做成本审计与容量规划，识别"占着不用"的僵尸配额。OpenCost 等开源方案可以把这笔账对齐到团队与项目维度。没有这层计量，池化平台最终会退化成"先到先得的公共冰箱"。

写在最后​

三条建议：第一，先画信任边界再选技术，外部租户只用 MIG 或整卡，内部混部才上软件切分；第二，上池化的同时上计量，分配量开票、用量对账，缺一边都会引发结算纠纷；第三，关注 DRA 的落地进度，把自有平台的资源申请结构化，为跨厂商调度留好接口。GPU 太贵，贵到不该让任何一张卡闲着——但切分的前提，是切得安全、算得清楚。

当超节点从 72 卡扩张到 4096 卡，铜缆互连在功耗与距离面前彻底缴械。2026 年 9 月，华为发布全球首个采用 NPO（近封装光学）技术的超节点，用 5500 个光引擎替代 4.8 万颗 800G 光模块、省电 550kW——"光进铜退"从口号变成了工程现实。

可插拔光模块的功耗天花板​

传统数据中心组网依赖可插拔光模块：交换机面板上插着 400G、800G 的模块，通过光纤连接各节点。这套体系成熟、可维护，但在 AI 超节点规模下撞上了天花板。

华为披露的数字最具说服力：若用传统方案支撑昇腾 960 超节点的组网需求，需要约 48000 颗 800G 光模块。每颗 800G 可插拔模块功耗约 15-25W，4.8 万颗意味着仅光互连部分就要消耗兆瓦级电力，还不算 SerDes 链路、面板空间与故障率代价。更进一步，可插拔模块的 DSP 重定时环节占据了模块功耗的大头，且离交换芯片越远、信号损耗越大——模块越密，这场"功耗税"越重。

对于动辄数千卡、训练十万亿参数模型的超节点而言，光互连的功耗与可靠性直接决定了系统能建多大。这就是"光进铜退"的起点：把光引擎从面板挪到芯片身边，甚至塞进封装里面。

NPO、CPO、OIO：光互连技术梯队​

按光引擎与芯片的距离由远及近，光互连分为三个梯队：

技术方案	光引擎位置	功耗收益	工程成熟度	代表
可插拔光模块	交换机面板	基线	成熟，生态完整	传统数据中心组网
NPO 近封装光学	封装旁的基板上	显著降低，光源独立可换	已量产	昇腾 960 超节点 Hi-ONE
CPO 共封装光学	与交换芯片同封装	最大幅度降低	可靠性/可维护性待解	各厂商交换机路线图
OIO 光 IO	进入 GPU/芯片封装内部	终极形态	研究与早期验证	下一代超节点探索

NPO 与 CPO 的核心差异在于取舍：CPO 把光引擎与芯片放在同一封装，光电距离最短、功耗最低，但激光器故障要更换整个昂贵封装，可靠性与可制造性一直是拦路虎；NPO 则把光引擎放在封装之外的基板上，保留"独立可插换"的维护性，同时实现光电近距离握手。华为明确解释过为何 960 超节点选择 NPO 而非 CPO：规避 CPO 的可靠性、可制造性、可维护性难题，并延续现有光模块产业生态——这是工程务实主义的典型选择。OIO 则更激进，目标是把光 IO 直接做进 GPU 封装，与 HBM、die 一起共封装，被视为超节点互连的远期方向。

华为 Hi-ONE 案例精算：5500 引擎 vs 4.8 万模块​

昇腾 960 超节点的 NPO 方案给出一组可以精算的对比：

指标	传统可插拔方案	昇腾 960 NPO 方案
光互连器件	~48000 颗 800G 光模块	5500 个 Hi-ONE 光引擎
单器件容量	800G	7.2T（单引擎）
功耗	基线	降低超 550 kW
无故障运行时间	基线	提升一倍
整体可用度	—	99.8%

三个要点值得展开：

1. 单引擎容量 7.2T：一颗 Hi-ONE 顶 9 颗 800G 模块，器件数量骤降一个数量级，故障点随之大幅减少——这是无故障运行时间翻倍的直接来源；
2. 省 550kW 意味着什么：550kW 约等于把整个 Vera Rubin NVL72 机柜（约 180kW TDP）的耗电省出近三台，省下的不仅是电费，更是散热系统的建设成本；
3. 唯一内置光源：Hi-ONE 是业界首个量产、当前传输能力最大且唯一内置光源的 NPO 产品，内置光源意味着激光器与引擎协同设计，省去外置光源的耦合损耗。

配合灵衢 UnifiedBus 全域 D2D 互连（RTT 2μs），这套光互连底座支撑起单节点 4096 卡、8 EFLOPS FP8、1PB HBM 的超节点规模。

光互连对超节点规模的意义：72 卡到 4096 卡的物理前提​

超节点的本质是让大量卡共享统一内存编址、像一台机器一样工作，而互连带宽与时延是规模的第一性约束。华为仿真数据：4K 超节点组成的 10 万卡集群，相比传统 8 卡服务器组网，MFU 提升 2.75 倍——因为在传统架构下，集群内通信占用训练时间超过 40%。

从 72 卡（NVL72 级别）到 4096 卡（昇腾 960 超节点），跨了两个数量级，物理上只有光互连能同时满足带宽密度、传输距离和功耗预算。NPO 把光链路推进到基板级，使跨机柜、跨机行的卡间通信时延降到微秒级，"逻辑上的一台机器"才有了物理载体。再往上，多个 960 超节点经灵衢网络或 RoCE 互联，最大可扩展到 51.2 万卡乃至 100 万卡集群——光互连是这一切的物理前提。

硅光、VCSEL、EML：技术路线与投资热​

光互连的爆发也点燃了产业链与资本市场：

• EML 激光器：相干与高速光模块的核心光源，分析师口径显示 Lumentum 持有约 60% 的 EML 市场份额，是本轮"光进铜退"最直接的受益者之一；
• 硅光集成：把调制器、波导、探测器集成在硅片上，与 CMOS 工艺兼容，是 CPO/OIO 时代的主力路线；
• VCSEL 路线：Volantis 用类似 Face ID 的垂直腔面发射激光器连接 AI 芯片与内存芯片，主打短距、低成本，斩获 8800 万美元 A 轮融资；
• 加速器光互连创业潮：CScale 开发面向加速器的光互连技术，C 轮融资 1.45 亿美元；Upscale AI 推出多厂商芯片互联的 Token Fabric 平台，获 NVIDIA 参投（2026-10-08）。

从激光器材料、硅光工艺到系统级创业公司，资本正沿光互连链条全面下注——这与当年 HBM 军备竞赛的剧本如出一辙。

小结​

光互连不再是数据中心的"锦上添花"，而是超节点规模的"生死线"。可插拔光模块在 4.8 万颗的量级上暴露了功耗天花板，NPO 用 5500 个光引擎交出了省电 550kW、可用度 99.8% 的量产答卷，CPO 与 OIO 则代表着更彻底的光电融合。当卡间通信成为训练时间的大头，"光进铜退"就不再是技术偏好，而是算力扩张的唯一出路。

采购英伟达服务器时，报价单上经常同时出现 HGX 与 MGX 两个词。它们不是新旧两代，而是两类完全不同的东西：一个是一块固定的基板，一套模块化的规则。分清这一点，能避免大部分选型返工。

HGX：一块不可修改的 8 卡基板​

HGX 的本质是英伟达设计、制造的 GPU 基板：4 卡或 8 卡 SXM 形态，NVLink 布线与 NVSwitch 芯片全部由英伟达固定，OEM 拿到后不能改动基板本身。戴尔、HPE、超微、联想等厂商围绕这块基板构建整机——机箱、散热、CPU（Intel Xeon 或 AMD EPYC）、内存、网卡、存储、BMC 都由 OEM 自主选择。

归属	HGX 体系
英伟达固定	GPU 数量与型号、NVLink 布线、NVSwitch、基板供电
OEM 决定	机箱高度、散热方式（风冷/液冷/混合）、CPU 型号、内存、NIC/DPU、NVMe、固件与服务等级
典型整机	戴尔 PowerEdge XE9680、超微 SYS-821GE 系列、联想 ThinkSystem SR675 V3

关键约束：PCIe 服务器用不了 HGX 基板——SXM 与 PCIe 是两条互斥的路线。据公开报道，8 卡 HGX H100 整机约 20 万至 30 万美元，B200/B300 级别约 25 万至 40 万美元，价差主要来自 OEM 的散热、存储与服务配置。

MGX：模块化参考架构​

MGX（2023 年推出）不是一块板，而是一套模块化规范：OEM 从英伟达给出的组件清单里独立选择机箱、CPU（x86、Grace、Vera 或其他 Arm）、GPU（SXM 或 PCIe，覆盖 Blackwell、Rubin 及老架构）、网络（NVLink、Spectrum-X 以太网、Quantum InfiniBand、BlueField DPU），英伟达称已有超过 100 种组合，覆盖从单卡边缘服务器到 GB200/GB300 NVL72 机柜。

维度	HGX	MGX
本质	固定 8 卡 SXM 基板	开放模块化参考架构
GPU 形态	仅 SXM	SXM 或 PCIe
CPU	OEM 选 x86	x86、Grace、Vera、第三方 Arm
覆盖范围	4 卡与 8 卡训练节点	单卡推理盒到 NVL72 机柜
典型产品	HGX H200/B300 整机	GB200 NVL72、RTX PRO Server、H200 NVL 系统

两个常见误解需要澄清。第一，MGX 不是 HGX 的替代品：HGX 面向需要极致互联带宽的 8 卡训练节点，MGX 覆盖推理服务器、CPU 与 GPU 混合节点等固定基板服务不好的长尾，许多机构最终两样都买。第二，2026 年的 Blackwell 旗舰（B200/B300）几乎只以 SXM 形态出现，PCIe 阵营由独立的 RTX PRO Server 产品线（基于 MGX）承接——两条线是被产品策略刻意分开的。

决策树与采购陷阱​

按四步走。第一步问互联：多节点训练、张量并行、大型 MoE，必须 SXM/HGX；单卡或双卡可解的推理与微调，PCIe 加 MGX 更省钱。第二步问机房：没有液冷且无法改造，NVL72 直接出局，风冷 PCIe 推理服务器往往是暖气候地区最便宜的可用算力。第三步问集成能力：有资深基础设施团队选 HGX 让 OEM 组机，性价比更高；团队薄弱或要快速上线选 DGX 整机（同一块 HGX 基板加英伟达认证的固件、软件栈与单一责任支持），为省心多付约两到三成溢价。第四步问规模：跨多机柜的组网交给 BasePOD/SuperPOD 参考架构，它们是集群蓝图而非服务器选项。

两个高频陷阱：其一，把 RTX PRO 6000 Server Edition 当成"B200 平替"对比互联性能——前者无 NVLink，走 PCIe，分布式训练会掉一个数量级；其二，忽略 MGX 系统的配置自由度带来的测试责任——OEM 组合自由度高，具体配置的验证矩阵要自己确认。

小结​

一句话记住三者关系：HGX 是英伟达焊死的 8 卡基板，DGX 是英伟达自己在 HGX 上装好的整机，MGX 是让 OEM 自由组装的模块化规则。训练要带宽选 HGX，推理要灵活选 MGX，要省心买 DGX——三条路对应三种团队，没有哪条天然更高级。

当竞争对手还在对比单颗 GPU 的 FLOPS 时，NVIDIA 已经把战场挪到了另一个维度。2026 年 GTC 发布的 Vera Rubin 平台，表面上是"新一代 GPU"，实际上是一套由七颗芯片组成的完整 AI 工厂蓝图。据站内芯片数据库，这七颗芯片分别是：Vera CPU、Rubin GPU、NVLink 6 交换机、ConnectX-9 SuperNIC、BlueField-4 DPU、Spectrum-6 以太网交换机，以及 Groq 3 LPX。本文逐一拆解这套"七芯片堆栈"的分工、协同与战略意图。

七颗芯片，各司其职​

先看全局分工表（数据据站内芯片数据库）：

#	芯片	角色	关键规格
①	Vera CPU	主机调度中枢	88 核自研 Olympus、1.5TB LPDDR5X、1.2TB/s
②	Rubin GPU	训练与 prefill 主力	288GB HBM4、22TB/s 带宽、50 PFLOPS FP4
③	NVLink 6 交换机	纵向扩展互联	单 GPU 3.6TB/s、NVL72 机柜 260TB/s
④	ConnectX-9 SuperNIC	横向扩展网络	单端口 1.6T、延迟低于 0.5μs、GPUDirect
⑤	BlueField-4 DPU	基础设施卸载与存储	驱动第三层推理上下文内存存储平台，token 吞吐最高 5 倍
⑥	Spectrum-6 交换机	数据中心以太网骨干	Scale-out 网络核心
⑦	Groq 3 LPX	智能体解码加速	256 颗 LPU/机架、128GB 聚合 SRAM、40 PB/s

七颗芯片覆盖了 AI 工厂从计算、互联、网络到存储的每一层——这是一个信号：NVIDIA 卖的不再是芯片，而是一整座工厂的参考设计。

计算层：Vera + Rubin + LPX 的异构三重奏​

计算层的分工体现了"每 token 经济学"的推理：

Rubin GPU 负责训练与 prefill。3360 亿晶体管、22TB/s 显存带宽，让它成为吞掉训练算力与推理 prefill（吃算力）这两个负载的最优解。

Groq 3 LPX 专攻智能体 decode。据站内芯片数据库，LPX 机架集成 256 颗 LPU，聚合 128GB 片上 SRAM 提供高达 40 PB/s 的片上带宽，互联达 640 TB/s。decode 阶段的核心瓶颈是内存带宽而非算力，LPU 用超大片上 SRAM 绕开这一瓶颈，延迟达到纳秒级——对于每秒上千次调用的 agentic AI 负载，这是 GPU 结构上难以企及的能力。GPU 管 prefill、LPU 管 decode，两种架构各干各的，总成本反而更低。

Vera CPU 是调度中枢。88 个自研 Olympus 核心、第二代 SCF 一致性结构（3.4TB/s 对分带宽）、1.5TB LPDDR5X 与 HBM4 构成单一一致性内存池，负责数据搬运调度、内存管理与系统控制编排——海量的智能体沙盒、KV 缓存卸载、多模型并发，都由它承接。

互联层：NVLink 6 + ConnectX-9 + Spectrum-6 的三级网络​

AI 工厂的网络是分层的，NVIDIA 用三颗芯片精确对应：

• NVLink 6 交换机（Scale-up）：机柜内纵向扩展，单 GPU 3.6TB/s 全互联带宽，让 72 乃至更多 GPU 像一颗 GPU 一样工作。这是训练超大模型的命脉，也是 NVIDIA 最深的护城河；
• ConnectX-9 SuperNIC（Scale-out）：单端口 1.6 Tb/s 的跨机柜网络，延迟低于 0.5 微秒，支持 GPU-NIC 直接 DMA，决定集群的横向扩展效率；
• Spectrum-6 以太网交换机：承载南北向流量与存储网络，是数据中心以太网骨干。

三级网络的本质是把"AI 工厂"拆解成可量化的工程指标：token 从进入机房到输出，要经过计算、Scale-up、Scale-out、存储四类路径，NVIDIA 在每一条路径上都放了一颗自己设计的芯片。

BlueField-4：被忽视的第三层存储革命​

七芯片堆栈中最容易被低估的是 BlueField-4 DPU。它的战略意义在于驱动第三层推理上下文内存存储平台——在 GPU 显存（HBM）与主机内存（LPDDR5X）之外，用 DPU 管理一层专门的推理上下文存储，官方宣称可将 token 吞吐提升最高 5 倍。

这重构了经典的 HBM-DRAM-NAND 三层存储金字塔：智能体对话的 KV 缓存、多轮会话上下文，不再挤占宝贵的 HBM4 容量，而是按热度分层放置在三级存储中。对于长上下文、多轮对话的 agentic AI 负载，这一层的存在直接决定了"每 GB 有效 KV 容量成本"——一个纯 GPU 厂商根本无法优化的指标。

生态锁定：NVLink Fusion 与定制化开放​

七芯片堆栈的封锁性引发过大客户反弹，NVIDIA 的回应是有选择的开放：

• NVLink Fusion：向合作伙伴开放 NVLink 互联，允许其将自定义 CPU 或加速器集成进 NVIDIA 的 Scale-up 域——用互联标准换取生态驻留；
• NVHBM 定制内存控制器计划：允许超大规模客户定制 HBM 配置，市场传闻亚马逊 Annapurna 团队正参与合作——把客户自研芯片的冲动，引导为"在 NVIDIA 平台上定制"的合作姿态。

这步棋颇为高明：客户想自研的动机无非是定制与议价，NVIDIA 干脆把定制能力开放出来，但互联与软件栈的根仍握在自己手里。

系统级竞争：对手的对位打法​

Bain 在 2026 年的行业分析给出了一个重要判断：AI 算力的竞争优势正从芯片规格转向系统级整合。这解释了为什么各大厂商都在拼"整栈"：

厂商	CPU	GPU/加速器	互联/网络	开放程度
NVIDIA	Vera（自研）	Rubin R200	NVLink 6 + ConnectX-9 + Spectrum-6	NVLink Fusion 有限开放
AMD	EPYC Venice	MI455X/MI500	Vulcano NIC + UALink	开放标准联盟
华为	自研鲲鹏系	昇腾系列	灵衢 UnifiedBus	国内生态自主

AMD Helios 机架的组合是 EPYC Venice（256 核 Zen 6）+ MI455X + Vulcano 网络芯片，以 UALink 开放标准对抗 NVLink 的封闭性——用"开放"换生态盟友。华为的灵衢 UnifiedBus 则在国内市场构建对位体系。但双方都面临同一个难题：NVIDIA 的七芯片是同步迭代的——Vera 与 Rubin 同代设计、NVLink 6 为 HBM4 的带宽特性量身定做、LPX 与 GPU 的 prefill/decode 分工在参考架构层面打通。对手的"拼装式整栈"在迭代节奏上天然慢一拍。

小结​

七芯片堆栈是 NVIDIA 对"AI 工厂"时代的一次完整应答：计算层用 Vera、Rubin、LPX 实现异构分工，互联层用 NVLink 6、ConnectX-9、Spectrum-6 铺设三级网络，BlueField-4 则重构了推理存储的金字塔。再辅以 NVLink Fusion 的有限开放与 NVHBM 定制计划，NVIDIA 把竞争维度从"单芯片规格"彻底抬升到"系统级整合"——Bain 的判断在这里得到了最好的注脚。对买方而言，评估下一笔 AI 基础设施投资时，问题已经不该是"这颗 GPU 多少 TFLOPS"，而是"这套系统能把每 token 成本压到多少"。谁能回答好后者，谁就赢得下一个五年。