77 posts tagged with "Tech Deep Dive"

2023 年 11 月的 Ignite 大会上，微软一口气发布了两颗自研芯片：Cobalt 100 CPU 与 Maia 100 AI 加速器。前者进展顺利，后者则成为观察云厂商自研芯片难度的一个绝佳样本。

架构与规格：一块围绕数据中心设计的 ASIC​

Maia 100 是一颗大型 ASIC：台积电 5nm 工艺加 CoWoS-S 封装，裸片面积约 820 平方毫米，集成 1050 亿晶体管，是当时该工艺节点上最大的芯片之一。核心规格如下：

规格项	Maia 100
制程与封装	台积电 5nm，CoWoS-S
裸片面积	约 820 平方毫米
晶体管数量	约 1050 亿
内存	64 GB HBM2e，总带宽 1.8 TB/s
片上 SRAM	数百 MB 量级，用于暂存 KV cache
热设计功耗	支持 700W，云端预配置约 500W
网络接口	12 个 400GbE，自定义 RoCE 类以太网协议
数据格式	FP32、BF16、FP8 及微软主导的 MX 微缩放格式

值得注意的是内存选择：Maia 100 采用的是偏成熟的 HBM2e 而非更新的 HBM3，反映出首发产品在供应链成熟度与成本之间的保守权衡。张量单元之外，芯片还配有超标量向量处理器与异步 DMA 引擎，可以在后台预取数据，让计算与搬运充分重叠；多层 Mesh 片上网络则把大矩阵（Prefill）与小矩阵（Decode）流量分开调度，以保住高 QPS 下的尾延迟。

系统级创新：真正的亮点在芯片之外​

Maia 100 最有价值的部分其实是芯片之外。微软没有沿用标准机架，而是设计了更宽的定制机架，并开发了一套"侧挂"（Sidekick）液冷系统——一个类似散热器的独立机柜，把冷却液循环到贴在芯片表面的冷板上。这套闭式液冷架构让微软可以在既有数据中心里部署高功耗 AI 服务器，这是"数据中心即一台计算机"思路的典型体现。

软件侧，微软选择拥抱开源生态：Maia SDK 与 PyTorch、ONNX Runtime 深度集成，并引入 OpenAI 的 Triton 语言降低算子开发门槛。开发路径也很务实——Copilot、Bing 等内部业务优先部署，企业客户则继续在 Azure 上租用英伟达与 AMD 的旗舰实例，形成"自研加开放"的双轨制。

复盘：三条教训​

第一，落地速度慢于预期。据公开报道，Maia 100 从发布到规模化商用经历了远超计划的爬坡期，内存选型偏旧、软件生态从零起步都是原因；微软不得不在 2025 年 11 月的 Ignite 上推出接续产品 Maia 200 以追赶竞品。第二，自研芯片无法脱离客户的真实负载迭代——微软虽与 OpenAI 有深度协同设计，但随着 OpenAI 转向与博通等伙伴自研，Maia 的验证闭环被削弱。第三，系统级创新（液冷、机架、网络）虽然不如芯片参数吸睛，却决定了能否真正部署。

小结​

Maia 100 是一份诚恳的"第一版答卷"：架构不激进、内存不冒进、软件借力开源，赌的是系统级整合能力。它没有颠覆什么，但它验证了一条路——云厂商的自研芯片不必一击必胜，而要在迭代中建立自己的设计能力与供应链话语权。这个教训对所有正在启动自研芯片项目的团队都适用。

买推理卡时，"显存多大"和"带宽多快"是两个经常打架的问题。有人为了 192GB 大容量牺牲带宽，有人反过来。要选对，得先弄清它们各自卡住的是哪一段。

解码阶段：带宽为王​

大模型自回归解码时，每生成一个 token 都要把全部权重从显存读一遍。以 70B 模型 FP16 部署为例，权重约 140GB；H100 的显存带宽 3.35TB/s，意味着单个解码步的理论下限约 42 毫秒，对应单流不超过约 24 tokens/s。此时矩阵运算本身只占极小一部分时间——算术强度太低，大量算力单元处于"等数据"状态。

这就是为什么推理被称为带宽受限负载：加多少 FLOPS 都没用，瓶颈在搬运。大 batch 是经典的缓解手段——一批请求共享同一次权重读取，把每次搬运摊给更多 token，算术强度随之上升，系统逐渐转向算力受限。代价是排队延迟变长，吞吐与延迟开始互相拉扯。

容量：决定"装得下多少并发"​

带宽决定单条请求跑多快，容量则决定同时服务多少条请求。显存里要同时放下三样东西：模型权重、KV Cache（随并发数与上下文长度线性增长）、以及运行时开销。70B FP16 权重约 140GB，在 80GB 的 H100 上单卡放不下，只能拆两卡或量化到 4bit；而 KV Cache 在长上下文场景下动辄吃掉几十 GB，直接挤压可用的并发额度。

容量不足时只能做模型切分，切分带来的通信开销进一步拉低有效带宽；带宽不足时则只能降速。两者都会触发，只是触发条件不同：小模型高并发先撞容量，大模型单流先撞带宽。

主流规格对照​

芯片	显存容量	显存带宽	同代定位
H100 80GB	80GB	3.35TB/s	Hopper 基线
H200	141GB	4.8TB/s	同款计算芯片，纯内存升级
AMD MI300X	192GB	5.3TB/s	大容量路线
AMD MI325X	256GB	6TB/s	容量再加码（据公开规格）
NVIDIA B200	192GB	8TB/s	带宽与容量双升级

H200 是最直观的案例：它与 H100 用同一颗计算芯片，算力完全相同，仅把 HBM3 换成更大更快的 HBM3e，推理收益却立竿见影——因为负载本来就卡在内存子系统上。这也是选型时"同算力不同内存配置、价差悬殊"现象的根源。

实操建议​

先定义业务形态，再定侧重：单流低延迟（对话、Agent）优先带宽，够用的容量即可；高并发吞吐（批量 API）优先容量，用大 batch 摊薄权重读取；长上下文服务两者都要，容量缺口考虑 KV 量化与分层卸载。最后提醒一句：带宽和容量都是理论值，实际有效带宽受访存模式与软件栈影响很大，选型前务必用自家模型和框架实测一遍。

过去十年，存储金字塔的分工非常清晰：HBM 伺候计算核心，DRAM 扛系统内存，NAND 做持久化。2026 年，Agentic AI 的 KV Cache 把这条界线搅得七零八落——上下文越来越长，显存越来越装不下，HBM-DRAM-NAND 三层正在被重新定义。

Agentic AI 的 KV Cache 问题​

传统聊天机器人的一次请求，上下文不过几千 token；而 Agent 的工作方式是在一个会话里连续执行几十步任务——浏览网页、读写文件、调用工具、自我反思——每一步都要携带完整的对话历史。上下文从 8K 涨到 100 万 token（NVIDIA RTX Spark 已支持最长 100 万 token 上下文），KV Cache 的体积也随之线性膨胀。

问题在于 KV Cache 必须常驻显存才能避免重复计算。以 Rubin R200 为例，它配备 288GB HBM4、带宽 22TB/s，看似充裕，但在多路并发服务时，模型权重占掉一块，剩余空间很快就会被活跃会话的 KV Cache 吃满。上一代 Blackwell Ultra（B300）之所以把显存从 192GB 提到 288GB HBM3e，官方场景里明确有一条就是"长上下文 KV Cache 288GB 完整保留"——显存的增长节奏，正在被 KV Cache 而不是模型参数牵着走。

当单卡显存装不下时，业界给出的答案是：别把 KV Cache 困在 HBM 里，让它沿着存储金字塔往下走。

三层金字塔：角色被重新定义​

Vera Rubin 平台是这场重构的最佳样本。它的"七芯片堆栈"包含 Vera CPU、Rubin GPU、NVLink 6 交换机、ConnectX-9 SuperNIC、BlueField-4 DPU、Spectrum-6 以太网交换机和 Groq 3 LPX，其中内存系统呈现清晰的三层结构：

层级	介质	代表硬件	容量/带宽	新角色
热数据层	HBM4	Rubin R200（8 堆栈）	288GB / 22TB/s	活跃 KV Cache、模型权重
温热数据层	LPDDR5X	Vera CPU	1.5TB / 1.2TB/s	KV 缓存卸载、与 HBM 构成单一一致性内存池
冷数据层	NAND（SSD）	BlueField-4 驱动的推理上下文内存存储平台	PB 级	会话持久化与跨请求复用，token 吞吐最高提升 5 倍

关键变化有三点。其一，LPDDR5X 与 HBM4 之间建立了单一一致性内存池——Vera Rubin NVL72 机柜内，72 颗 GPU 共享 20.7TB HBM4，36 颗 Vera CPU 提供 54TB LPDDR5X，KV Cache 可以在不损失一致性语义的前提下在两层间流动。其二，BlueField-4 不再只是安全卸载卡，而是被定位为"推理上下文内存存储平台"，把结束回合的会话上下文写入 NAND，下次请求命中时直接回灌，省去重新 prefill 的算力开销。其三，NAND 从"存储盘"升级为"上下文内存"，这是金字塔底层几十年来第一次获得计算语义。

HBF、PIM、M900：案例对比表​

围绕这条三层链路，整个存储产业在 2026 年密集出招：

方案	厂商	技术要点	目标场景
HBF（高带宽闪存）	SK海力士（AI Infra Summit 2026 "New Spectrum" 组合）	给 NAND 加上类 HBM 的超宽接口	KV Cache 冷层，带宽接近 DRAM 量级
PIM 存内计算	SK海力士	在 DRAM 附近完成部分计算，减少搬运	KV Cache 原地更新
eSSD + SALT-KV	SK海力士	面向 KV Cache 语义优化的键值存储栈	推理上下文持久化
OceanStor M900	华为	上下文内存存储集群，灵衢总线一跳直连 PB 级 KV Cache，SSD 读写寿命延长 16 倍	昇腾超节点的 KV 基建
NVHBM 定制内存	AWS Annapurna × NVIDIA	面向 AI 负载的定制 HBM 方案	云厂商定制化
超密度服务器内存模组	美光（2026-09-15）	单模组容量再上一档	DRAM 温热层扩容

SK海力士还专门设立了 SK hynix Ventures（9 月 18 日落地硅谷），用投资孵化初创公司的方式押注"内存即基础设施"这条新赛道。值得注意的是华为 OceanStor M900：它与昇腾 960 超节点同期发布，通过灵衢总线一跳直连，把 PB 级 KV Cache 集群变成超节点的"外挂记忆体"，并通过磨损均衡等手段把 SSD 读写寿命延长 16 倍——上下文存储的写放大问题，第一次被当成显性的工程指标来攻克。

协同设计取代采购​

这轮重构背后，是产业关系的转向：存储不再是"按目录价采购的标准件"，而是与加速器协同设计的定制组件。NVIDIA 联合 AWS Annapurna 做 NVHBM，华为为昇腾自研 HBM 并配套 OceanStor M900，SK海力士直接下场定义 KV 存储软件栈。美光甚至在 9 月的口径中预测 NAND 与 DRAM 短缺将持续到 2028 年——在供不应求的市场里，谁能锁定定制内存供给，谁就握住了推理产能。

对芯片厂商而言，算力竞争的上半场比的是 FLOPS，下半场比的将是"每 token 需要搬运多少字节"。带宽金字塔的每一层接口，都成了架构设计的一等公民。

对推理 TCO 的影响​

这套三层结构对成本模型的影响是直接的。第一，KV Cache 卸载到 DRAM 和 NAND 后，同样规模的 HBM 可以服务更多并发会话，单 token 的 HBM 摊销成本下降。第二，BlueField-4 上下文存储平台宣称 token 吞吐最高提升 5 倍，本质上是把重复 prefill 的 GPU 算力换成了廉价的 NAND 读取——用存储的"宽"换算力的"贵"。第三，内存已占整机 TCO 约 40%（HBM 涨价后的行业口径），存储分层做得越细，整体成本曲线越平缓。

小结​

KV Cache 正在把存储金字塔从"容量阶梯"改造成"温度阶梯"：HBM 保活跃、DRAM 承接温热会话、NAND 做上下文持久化，三层之间以一致性内存池和专用存储平台（BlueField-4、OceanStor M900）贯通。SK海力士的 HBF/PIM/SALT-KV 与美光的超密度模组说明，存储大厂已经从跟随 AI 转向定义 AI 基础设施。下一阶段推理成本的胜负手，不在 GPU 的 FLOPS 表格上，而在三层存储之间的数据搬运路线上。

2026 年 10 月，AMD 数据中心战略进入兑现期：MI455X 作为首款采用台积电 N2 制程的 AI GPU，正从发布走向量产。本文基于站内芯片卡数据，从制程、架构、显存、互联到量产供应链，全面拆解这款对标 NVIDIA Rubin 的旗舰产品。

产品定位：MI400 系列的旗舰担当​

MI455X 是 AMD 在 2026 年 7 月 23 日 Advancing AI 2026 大会正式确认的 Instinct MI400 系列旗舰，也是 Helios 机架的核心算力来源。它专为大规模 AI 训练与分布式推理而生，覆盖万亿参数大模型训练、低延迟高吞吐推理、强化学习与代理式 AI 等场景。相比上一代 MI355X，MI455X 的 FP4 峰值算力提升最高 4 倍，token 吞吐最高提升 18 倍，单位 token 成本最高可降 34 倍——这些数字背后，是 CDNA 5 架构对低精度计算时代的系统性重构。

从产品分层看，MI400 系列目前形成了清晰的矩阵：MI455X 面向前沿训练与推理（Helios 机架专用），MI430X 面向 HPC 与主权 AI（硬件 FP64 双精度），MI440X 面向企业级 8-GPU 服务器。MI455X 站在金字塔尖，承担着 AMD 与 NVIDIA Rubin 系列正面对抗的任务。

制程拆解：N2 计算芯粒 + N3P Fabric 的混合封装​

MI455X 最引人注目的标签，是"首款 TSMC N2 制程 AI GPU"。在 NVIDIA Rubin 仍停留在 3nm 节点的同期，AMD 选择在计算芯粒上抢跑 2nm，这是一步高风险高回报的棋。

从封装架构看，MI455X 采用多芯片模块（MCM）设计：

芯粒组件	制程	功能
8 个计算芯粒（XCD）	TSMC N2（2nm），3D 混合键合	承担矩阵与向量计算
2 个 I/O die（IOD）	TSMC N3P	I/O 与互联控制
2 个缓存/Fabric die（FCD）	TSMC N3P	缓存与 fabric 交换
12 颗 HBM4 堆栈	—	显存子系统

整颗 GPU 晶体管数量达到 3200 亿，采用 CoWoS-L 封装将所有芯粒与 HBM4 堆栈整合。把计算芯粒放在最先进的 N2 节点、把 I/O 与 fabric 放在成熟度更高的 N3P，是一种务实的成本-性能平衡：计算部分享受 2nm 的晶体管密度与能效红利，而互联与缓存部分避开 2nm 初期的良率与成本压力。

N2 抢跑的意义与良率风险​

抢跑 N2 的意义在于三个层面。第一，能效：2nm 芯片在同等功耗下提供更高算力密度，这对 TDP 高达 1200-1500W 级别、必须全液冷的 AI GPU 而言，直接决定机架功率预算。第二，先发卡位：台积电 N2 产能在 2026 年仍然紧张，AMD 与 EPYC Venice 共享 N2 产线，形成了对先进节点的规模化采购议价权。第三，叙事优势：在全球 AI 芯片竞赛中，"首款 2nm AI GPU"的头衔本身就是营销资产。

但风险同样真实。N2 初期的良率爬坡不确定性，会直接影响 3200 亿晶体管大芯片的良率成本；CoWoS-L 先进封装产能是另一个行业级瓶颈。AMD 的对冲方式正是多芯粒设计——单个 XCD 面积远小于单片巨芯，良率损失可控，这也是行业走向 chiplet 化的深层原因。

显存系统：432GB HBM4 与 23.3TB/s​

显存是 MI455X 相对 NVIDIA 最硬的数字优势。它配备 12 颗 HBM4 堆栈，每颗 36GB，总容量 432GB，是 NVIDIA Rubin R200（288GB）的 1.5 倍；显存带宽达 23.3TB/s，高于 Rubin 的 22TB/s。

对推理业务而言，大显存的意义是直接的成本优势：更大的模型可以完整驻留在单卡显存中，减少张量并行带来的通信开销。432GB 意味着 700B 级模型配合 FP4 量化可以在机架级完整加载，这也是 AMD 宣称"单机柜可运行 700B 模型"的底气。同时，HBM4 带宽从 MI355X 的约 8TB/s 跃升至 23.3TB/s，接近 3 倍，极大缓解了 LLM 推理中最常见的带宽瓶颈——在自回归解码阶段，每生成一个 token 都需要完整读出模型权重，带宽几乎线性决定推理速度。

CDNA 5 架构哲学：Wave32 与计算子系统的重构​

CDNA 5 架构最值得玩味的细节，是从上代 Wave64 转向 Wave32 原生执行。Wave 是 GPU 调度执行的基本单位，Wave64 意味着 64 个工作项打包在一个 warp 中调度。转向 Wave32 后，每条指令的调度粒度减半，寄存器分配更灵活，分支发散的代价更低，对不规则计算负载（如稀疏注意力、MoE 专家路由）更友好。这与推理时代工作负载日益动态化、稀疏化的趋势深度契合——当 AI 模型从稠密训练走向 MoE 与长上下文推理，执行单元的灵活性比峰值 FLOPS 更能决定实际性能。

配套的计算子系统升级同样系统化：

• 超越函数引擎：将 exp、log 等非线性运算硬件化。softmax、RMSNorm、激活函数是大模型每个 transformer 层的必经之路，硬件化后这些操作不再占用通用计算资源，对推理延迟的改善立竿见影。
• Tensor Data Mover：专门的数据搬运引擎，负责张量在显存、缓存与计算单元之间的流转，让计算单元专注于计算本身，减少等待数据的时间。
• 192MB L2 缓存：是上代 MI355X 32MB 的 6 倍。更大的片上缓存意味着 KV Cache 与激活值可以更多驻留片上，降低对 HBM4 带宽的实际压力。

精度矩阵：MXFP4 时代的算力语言​

CDNA 5 支持 FP4、FP6、FP8 与 BF16 全精度矩阵计算。MI455X 的官方标准是 dense（密集）算力：MXFP4 40.26 PFLOPS、MXFP8 20.1 PFLOPS、FP16 矩阵 5 PFLOPS（结构化稀疏 10.1 PFLOPS）、FP32 向量 315 TFLOPS、INT8 矩阵 5 POPS。

这里有一个需要消费者警惕的口径问题：AMD 坚持 dense 口径，而 NVIDIA Rubin 同期产品以 sparse（稀疏）口径宣传。两边的数字不能直接比较。这也是 AI 算力市场长期存在的"数字游戏"——只有统一到 dense 口径，MI455X 与 Rubin 的对比才有意义。

与 NVIDIA Rubin R200 的正面对比​

把两款同代旗舰放在一张表里，格局会清晰很多：

对比项	MI455X（CDNA 5）	NVIDIA Rubin R200
计算芯粒制程	TSMC N2（2nm）	TSMC 3nm
晶体管数量	3200 亿	3360 亿
显存容量	432GB HBM4	288GB HBM4
显存带宽	23.3TB/s	22TB/s
FP4 算力	40.26 PFLOPS（dense）	50 PFLOPS（sparse，折算约 25 PF dense）
配套 CPU	EPYC Venice（Zen 6，256 核）	Vera ARM（88 核）
机架互联	UALink 开放标准	NVLink 封闭生态
软件生态	ROCm 7/8	CUDA 13
TDP	未公开（直接液冷）	未公开

AMD 的优势集中在显存容量、dense 口径下的 FP4 算力、开放互联与制程代际；NVIDIA 的护城河仍在软件生态成熟度与网络产品线。这款产品的胜负手不在纸面参数，而在 ROCm 生态能否承接住大规模迁移、以及量产爬坡速度。

量产进展与 HBM4 供应链​

根据 2026 年 10 月的量产进展信息，Helios 机架已于 2026 年 7 月开始量产，首批系统在 Q3 末出货，Q4 进入放量阶段。这一节奏兑现了 AMD 在 CES 2026 与 Advancing AI 2026 上的承诺，也让 OpenAI、微软、Oracle 等客户的部署时间表有了落地的物理基础。

供应链层面，三星是 AMD 的首选 HBM4 供应商：双方于 2026 年 3 月签署 MOU，三星 HBM4 已于 2026 年 2 月实现量产。CEO 苏姿丰在 10 月初亲赴首尔，追加 HBM4 供给谈判——这个时间点恰好卡在 Helios Q4 放量之前，显存供应成为交付节奏的关键变量。据报道，三星 HBM4 产能已售罄至 2029 年，三星目标在 2027 年将产能翻倍。在 HBM4 全面紧缺的 2026 年，谁能锁定更多显存堆栈，谁就能在 AI GPU 市场多抢下一个季度的份额。

小结​

MI455X 是 AMD 历史上第一次在制程节点（N2）、显存规格（432GB HBM4）、算力口径（dense 40 PFLOPS 级 FP4）三个维度同时与 NVIDIA 平起平坐甚至局部反超的产品。N2 抢跑与 Wave32 原生执行体现了 CDNA 5 面向推理时代的架构哲学，而量产爬坡与 HBM4 供应链则决定了这手好牌能打出多少实际价值。对采购方与开发者而言，2026 年 Q4 放量节点之后的真实交付数据与 ROCm 生态成熟度，才是验证 AMD 数据中心雄心的最终标尺。

在华为昇腾与英伟达的双雄叙事之外，寒武纪正在写下国产 AI 芯片的第三条故事线：思元690 以 700+ TFLOPS FP16 登顶国产纸面算力，公司实现首次年度盈利，下一代芯片未发先涨 20%–30%。这个曾经靠情怀撑估值的"AI 芯片第一股"，第一次同时握住了技术、商业与定价权三张牌。

一、思元690 核心规格：196GB HBM3 撑起的算力天花板​

按本站芯片卡收录的规格，思元690（MLU690）采用双 die Chiplet 封装，2026 年初量产，核心参数如下：

项目	参数
架构	新一代 MLUarch 架构
制程	中芯国际 N+2（5nm 级），亦见台积电 4nm 双 die 报道
显存	196 GB HBM3
显存带宽	3.35 TB/s
FP16/BF16	700+ TFLOPS
INT4	2800+ TOPS
互联	MLU-Link 890 Gbps/卡
TDP	400–500 W
单价	¥14–15 万

与上代思元590 相比，这是一次全面换代；与 H100 相比，则是典型的"错位竞争"：

指标	思元690	思元590	H100 SXM	对比 H100
显存	196GB HBM3	96GB HBM2e	80GB HBM3	2.45×
显存带宽	3.35 TB/s	~2 TB/s	3.35 TB/s	持平
FP16	700+ TFLOPS	345 TFLOPS	989 TFLOPS	~71%
INT8 推理	反超（INT4 2800+ TOPS 口径）	1380 TOPS	1979 TOPS	部分场景反超

196GB 显存是思元690 最锋利的差异化武器：单卡装下更大的模型与 KV Cache，在推理场景性价比突出；纯推理场景可达到 H100 的 80%–90%。短板同样清晰——FP16 训练算力与千卡以上分布式训练的互联工程成熟度。为此，WAIC 2026 上寒武纪同步落地了 256 卡规模超节点集群方案，已在多地智算中心部署，从"单卡算力"走向"系统级算力"。

二、架构演进：MLUarch 换代与 HBM3 上量​

思元690 的代际跃迁体现在三处：其一，MLUarch 架构换代（市场披露口径称新一代芯片采用 MLUarch 04），配合双 die Chiplet 封装，把晶体管预算投向张量算力与显存通道；其二，显存从 HBM2e 一举上量到 196GB HBM3，3.35 TB/s 带宽与 H100 持平——在国产供应链里率先解决"内存墙"；其三，MLU-Link 890 Gbps 卡间互联已接近 NVLink 4 的 900 GB/s 量级，为 256 卡超节点铺路。软件侧的 NeuWare 是国内少有的云边端统一栈：PyTorch/TensorFlow 适配版、NeuBLAS、NeuDNN，以及全球首批商用 MLIR 图编译推理框架 MagicMind。

供应链上，台积电因实体清单停供后，寒武纪全线转向中芯国际 N+2，成为中芯先进制程的最大客户之一；N+2 产能已锁定至 2027 年。

三、涨价 20%–30%：国产芯片第一次掌握定价权​

路透社 2026 年 9 月 10 日报道：寒武纪下一代芯片（市场暂称"690"）重新定价，较两个月前上涨 20%–30%。同期昇腾 950DT 报价突破 25 万元、沐曦、天数智芯等国产卡也集体上调 20%–30%——这不是寒武纪一家的孤例，而是 HBM 成本飙升叠加供不应求下的全行业现象。

值得注意的是官方态度：寒武纪董秘办回应"不要听信市场消息，一切以官方公告为准"。渠道价与官方定价之间存在明显温差——涨价是市场现实，但公司不愿为渠道炒作背书。这背后是国产 AI 芯片定价权的历史性变化：过去国产卡必须以"替代品折价"换取订单，如今供给稀缺让定价逻辑转向"稀缺溢价"。在华为、寒武纪、摩尔线程构成的国产三强格局中，寒武纪第一次拥有了"不降价也能卖动"的底气。

四、首次年度盈利：商业模式的拐点​

如果说涨价反映的是市场热度，盈利则验证了商业模式的成色。按 2026 年上半年行业复盘口径，寒武纪已实现首次年度盈利。配套数据同样亮眼：2026 年 Q1 营收 28.85 亿元，同比增长 160%；2026 年 6 月市值突破万亿元。客户结构上，字节跳动是最大客户（思元580/590/690 合计采购超 50 万颗，约占其采购的 65%），阿里、百度、中国移动相继进入订单名单。

"首次盈利"对国产 AI 芯片行业的标志意义在于：这个赛道第一次出现了不依赖补贴与融资、靠卖芯片本身赚钱的商业模式。研发投入可以自我造血，意味着产品迭代不再以资本耐心为限——这对动辄三年一代的芯片研发周期，是决定性的正循环。

五、命名之辨：思元系列与市场传闻的"690"​

最后回到一个细节：市场上热议的"690"，官方从未正式发布命名。本站芯片卡以"思元690"收录其规格（已量产口径），而路透报道中的"690"实为市场对下一代芯片的暂称，寒武纪对具体命名、规格与定价均保持谨慎，一切以官方公告为准。这种"市场抢跑、官方缄默"的组合本身就是一个信号：在供给稀缺的卖方市场里，厂商不再需要靠预热造势——把名字留到正式发布，反而是一种定价权。

小结​

思元690 代表的"寒武纪时刻"，本质上是三件事同时发生：技术上，700+ TFLOPS FP16、196GB HBM3 与 256 卡超节点让国产训练卡首次形成完整的系统级方案；商业上，首次年度盈利证明了国产 AI 芯片可以自我造血；市场地位上，20%–30% 的重新定价宣告国产芯片开始掌握定价权。当然，考验依然存在：千卡以上训练的互联工程成熟度、NeuWare 与 CUDA 的生态差距、以及下一代芯片能否如期放量。但至少在 2026 年秋天，国产 AI 芯片第一次同时拥有了技术、利润与议价能力。

当前主流大模型几乎清一色采用混合专家（MoE）架构。很多人知道它"省算力"，但少有人意识到：省下的算力并没有变成免费的午餐，而是被换成了对显存容量和互连带宽的更高要求。这笔账值得每个选型的人算一遍。

参数量与算力解耦​

稠密模型里每个参数在每个 token 上都要参与计算；MoE 把 Transformer 中的前馈层复制成许多"专家"，由路由器为每个 token 挑选少数几个激活。以 DeepSeek-V3 为例，据其公开技术报告：总参数 671B，每 token 仅激活 37B，路由层包含 256 个路由专家外加 1 个常驻共享专家，每个 token 激活其中 8 个路由专家。计算量因此比同规模稠密模型低了一个数量级，但训练成本与模型能力并未等比打折——671B 总参的学习容量还在。

Mixtral 8x7B 是更早的参照：总参数约 47B，每 token 激活约 13B。规律一致：FLOPS 可以省，参数一个都省不掉。

瓶颈迁移：从算力到显存与通信​

对硬件而言，MoE 带来三个直接后果。

其一，显存容量压力反而更大。 671B 参数即使量化到 FP8 也要 600GB 以上，权重必须常驻显存等待被路由命中。算力需求降了，容量需求没降，"用小卡跑 MoE"的幻想在容量这一关就会破灭。

其二，通信成为新瓶颈。 专家分布在不同的卡上，每个 token 都要经历 dispatch（发给选中的专家所在卡）与 combine（收回结果）两次 all-to-all 通信，且跨层反复发生。DeepSeek 团队在技术报告中专门讨论了跨节点 all-to-all 的通信瓶颈，并用 DualPipe 流水线做计算通信重叠来掩盖它。对芯片来说，这意味着互连带宽的权重显著上升，节点内 NVLink 级带宽与跨节点网络都直接决定 MoE 的实际效率。

其三，负载不均衡。 热门专家可能被打爆，冷门专家闲置，硬件利用率随之波动。DeepSeek-V3 在推理部署中采用冗余专家策略，复制高负载专家来均衡压力——这又进一步推高了显存占用。

稠密与 MoE 的硬件账对照​

维度	稠密模型	MoE 模型
每 token 算力	与参数量成正比	远低于参数量
显存容量需求	等于全部参数	等于全部参数（一个不少）
主要通信模式	数据并行的 AllReduce	专家并行的 All-to-All
负载特征	均匀可预测	随路由波动，需均衡策略
选型关键	带宽与算力平衡	容量、互连带宽、通信软件栈

实操建议​

为 MoE 服务选硬件时，按优先级排：先看显存容量能否装下全量参数加运行时开销；再看节点内互连是否支撑专家并行的 all-to-all，卡间带宽不足时专家应尽量收拢在节点内；跨节点部署要评估网络带宽与通信计算重叠能力。推理侧尽量用大 batch，让分散命中各专家的 token 聚合成足够大的矩阵，维持算力利用率。一句话总结：MoE 时代，"算力够不够"的提问正在被"显存装不装得下、数据送不送得过来"取代。

当多数国产 AI 芯片公司all in 大模型算力时，摩尔线程依然坚持"两条腿走路"：一手是 MTT S5000 智算卡撑起的夸娥万卡集群，一手是瞄准 3A 游戏的"庐山"图形 GPU。9 月初的半年度业绩说明会给出了两条线的最新坐标——这条"AI+游戏"并举的路线，正在从权宜之计变成差异化壁垒。

一、MTT S5000：平湖架构的训推一体旗舰​

MTT S5000 基于第四代 MUSA"平湖"架构，搭载 PH100 芯片、4096 个自研 MUSA Core，2025 年 2 月公开参数。核心规格如下：

项目	参数
架构	MUSA 第四代（平湖），PH100 芯片
显存	80 GB（颗粒类型官方未公开）
显存带宽	1.6 TB/s
FP8 稠密算力	1000 TFLOPS（液冷版）/ 920 TFLOPS（风冷版）
BF16/FP16	400 TFLOPS
FP32	100 TFLOPS
INT8	800 TOPS
互联	MTLink 784 GB/s（8 卡节点内全互联）
TDP	500 W（市场口径）
形态	OAM / PCIe，液冷 + 风冷双版本
单价	~$4000–6000（OAM）

几点澄清值得注意：其一，"单卡 AI 稠密算力 1000 TFLOPS"特指 FP8 精度（液冷版），并非 FP16；其二，80GB 显存的颗粒类型官方从未公布，市场流传的"GDDR6X"说法与 1.6 TB/s 带宽自相矛盾，本站已订正为"类型未公开"；其三，S5000 配备硬件级 FP8 Tensor Core，支持 FP8→FP64 全精度，并已基于 FP8 完成 DeepSeek-V4 的 Day-0 适配。加上《安全可靠测评结果公告（2026 年第 2 号）》的通过——AI 训推芯片首次纳入该体系——S5000 同时拿到了信创市场的入场券。

二、万卡落地：夸娥集群与京东云合作​

S5000 的成色，最终要靠集群说话。基于夸娥（KUAE）万卡智算集群的实测数据：

指标	实测值
集群算力	10 EFLOPS
Dense 大模型训练 MFU	60%
MoE 大模型训练 MFU	40%
训练线性扩展效率	95%（64 卡→1024 卡保持 90%+）
有效训练时间占比	>90%
第三方对齐	智源 RoboBrain 2.5 与 H100 集群 loss 差异仅 0.62%

95% 的线性扩展效率背后是 ACE 异步通信引擎——把通信任务从计算核心卸载，实现计算与通信零冲突并行。商业侧，2026 年 3 月签下 6.6 亿元夸娥集群订单；软件侧，MiniMax M3、智谱 GLM-5.2、阿里 Qwen3.5、美团万亿参数 LongCat-2.0 相继完成 Day-0 适配。最关键的落地信号来自 9 月 19 日：京东云与摩尔线程合作的万卡级集群已部署上线服务——从"能跑通"到"规模化服务外部客户"，国产 GPU 集群跨过了商用验证的分水岭。随后的数贸会（9 月 23–27 日，杭州）上，摩尔线程集中展示了 AI 智算卡、万卡级集群，以及"模型训练工厂、词元生产工厂、智能体生产工厂"三层能力，产品覆盖云-边-端全场景。

三、"庐山"GPU：从兼容显卡到渲染范式革命​

图形产品线上，9 月 3 日半年度业绩说明会披露了新一代"庐山"GPU 的指标——基于花港架构，预计 2026 年底推出：

• 3A 游戏渲染性能提升 15 倍；
• 光线追踪性能提升 50 倍；
• AI 性能提升 64 倍。

比倍数更重要的是两项渲染技术的组合：一是硬件光线追踪，原生支持 DirectX Raytracing，让国产 GPU 第一次在光追管线层面与主流标准对话；二是AI 生成式渲染 AGR，基于全自研 MTAGR 1.0，把渲染范式从"逐像素计算"推向"生成"——用 AI 直接生成画面内容，而非暴力算出每个像素。前者补齐了传统管线的硬件短板，后者则是在渲染范式切换窗口期的卡位：当英伟达 DLSS、AMD FSR 都在走向 AI 化时，AGR 让摩尔线程有机会在下一代渲染标准里占据一席，而不是永远追赶。

四、游戏反哺 AI：双架构复用的独特路线​

把两条产品线放在一起看，摩尔线程的打法浮现出独特逻辑：图形与 AI 共享同一套 MUSA 架构底座——SIMT 核心、张量单元、光追核心、统一软件栈全部复用。游戏 GPU 的价值因此不只是营收 diversification：海量游戏场景是最好的架构压力测试与现金流来源，图形侧打磨的调度、显存与光速能力，反向反哺 AI 卡的通用计算质量；而 AI 业务积攒的先进制程流片经验，又拉高图形芯片的天花板。

已登陆科创板的摩尔线程，如今可以用上市平台的融资能力同时养两条产品线。这与纯 AI 芯片公司"单点押注大模型"的路线形成鲜明对比——在国产算力需求旺盛但波动性尚存的市场里，双线作战既是对冲，也是壁垒。

小结​

摩尔线程的 2026 年验证了"全功能 GPU"路线的可行性：MTT S5000 以 FP8 稠密 1000 TFLOPS、80GB 显存撑起夸娥万卡集群，并通过京东云万卡级集群部署完成了规模化商用验证；"庐山"GPU 则以硬件光追与 AI 生成式渲染 AGR 完成了从"国产兼容显卡"到"渲染范式探索者"的技术跃迁。图形+AI 双架构复用的独特路线，让摩尔线程在国产 AI 芯片阵营中占据了一个难以复制的生态位。2026 年底"庐山"如期推出与否，将是这条双线故事的下一次大考。

当超节点从 72 卡扩张到 4096 卡，铜缆互连在功耗与距离面前彻底缴械。2026 年 9 月，华为发布全球首个采用 NPO（近封装光学）技术的超节点，用 5500 个光引擎替代 4.8 万颗 800G 光模块、省电 550kW——"光进铜退"从口号变成了工程现实。

可插拔光模块的功耗天花板​

传统数据中心组网依赖可插拔光模块：交换机面板上插着 400G、800G 的模块，通过光纤连接各节点。这套体系成熟、可维护，但在 AI 超节点规模下撞上了天花板。

华为披露的数字最具说服力：若用传统方案支撑昇腾 960 超节点的组网需求，需要约 48000 颗 800G 光模块。每颗 800G 可插拔模块功耗约 15-25W，4.8 万颗意味着仅光互连部分就要消耗兆瓦级电力，还不算 SerDes 链路、面板空间与故障率代价。更进一步，可插拔模块的 DSP 重定时环节占据了模块功耗的大头，且离交换芯片越远、信号损耗越大——模块越密，这场"功耗税"越重。

对于动辄数千卡、训练十万亿参数模型的超节点而言，光互连的功耗与可靠性直接决定了系统能建多大。这就是"光进铜退"的起点：把光引擎从面板挪到芯片身边，甚至塞进封装里面。

NPO、CPO、OIO：光互连技术梯队​

按光引擎与芯片的距离由远及近，光互连分为三个梯队：

技术方案	光引擎位置	功耗收益	工程成熟度	代表
可插拔光模块	交换机面板	基线	成熟，生态完整	传统数据中心组网
NPO 近封装光学	封装旁的基板上	显著降低，光源独立可换	已量产	昇腾 960 超节点 Hi-ONE
CPO 共封装光学	与交换芯片同封装	最大幅度降低	可靠性/可维护性待解	各厂商交换机路线图
OIO 光 IO	进入 GPU/芯片封装内部	终极形态	研究与早期验证	下一代超节点探索

NPO 与 CPO 的核心差异在于取舍：CPO 把光引擎与芯片放在同一封装，光电距离最短、功耗最低，但激光器故障要更换整个昂贵封装，可靠性与可制造性一直是拦路虎；NPO 则把光引擎放在封装之外的基板上，保留"独立可插换"的维护性，同时实现光电近距离握手。华为明确解释过为何 960 超节点选择 NPO 而非 CPO：规避 CPO 的可靠性、可制造性、可维护性难题，并延续现有光模块产业生态——这是工程务实主义的典型选择。OIO 则更激进，目标是把光 IO 直接做进 GPU 封装，与 HBM、die 一起共封装，被视为超节点互连的远期方向。

华为 Hi-ONE 案例精算：5500 引擎 vs 4.8 万模块​

昇腾 960 超节点的 NPO 方案给出一组可以精算的对比：

指标	传统可插拔方案	昇腾 960 NPO 方案
光互连器件	~48000 颗 800G 光模块	5500 个 Hi-ONE 光引擎
单器件容量	800G	7.2T（单引擎）
功耗	基线	降低超 550 kW
无故障运行时间	基线	提升一倍
整体可用度	—	99.8%

三个要点值得展开：

1. 单引擎容量 7.2T：一颗 Hi-ONE 顶 9 颗 800G 模块，器件数量骤降一个数量级，故障点随之大幅减少——这是无故障运行时间翻倍的直接来源；
2. 省 550kW 意味着什么：550kW 约等于把整个 Vera Rubin NVL72 机柜（约 180kW TDP）的耗电省出近三台，省下的不仅是电费，更是散热系统的建设成本；
3. 唯一内置光源：Hi-ONE 是业界首个量产、当前传输能力最大且唯一内置光源的 NPO 产品，内置光源意味着激光器与引擎协同设计，省去外置光源的耦合损耗。

配合灵衢 UnifiedBus 全域 D2D 互连（RTT 2μs），这套光互连底座支撑起单节点 4096 卡、8 EFLOPS FP8、1PB HBM 的超节点规模。

光互连对超节点规模的意义：72 卡到 4096 卡的物理前提​

超节点的本质是让大量卡共享统一内存编址、像一台机器一样工作，而互连带宽与时延是规模的第一性约束。华为仿真数据：4K 超节点组成的 10 万卡集群，相比传统 8 卡服务器组网，MFU 提升 2.75 倍——因为在传统架构下，集群内通信占用训练时间超过 40%。

从 72 卡（NVL72 级别）到 4096 卡（昇腾 960 超节点），跨了两个数量级，物理上只有光互连能同时满足带宽密度、传输距离和功耗预算。NPO 把光链路推进到基板级，使跨机柜、跨机行的卡间通信时延降到微秒级，"逻辑上的一台机器"才有了物理载体。再往上，多个 960 超节点经灵衢网络或 RoCE 互联，最大可扩展到 51.2 万卡乃至 100 万卡集群——光互连是这一切的物理前提。

硅光、VCSEL、EML：技术路线与投资热​

光互连的爆发也点燃了产业链与资本市场：

• EML 激光器：相干与高速光模块的核心光源，分析师口径显示 Lumentum 持有约 60% 的 EML 市场份额，是本轮"光进铜退"最直接的受益者之一；
• 硅光集成：把调制器、波导、探测器集成在硅片上，与 CMOS 工艺兼容，是 CPO/OIO 时代的主力路线；
• VCSEL 路线：Volantis 用类似 Face ID 的垂直腔面发射激光器连接 AI 芯片与内存芯片，主打短距、低成本，斩获 8800 万美元 A 轮融资；
• 加速器光互连创业潮：CScale 开发面向加速器的光互连技术，C 轮融资 1.45 亿美元；Upscale AI 推出多厂商芯片互联的 Token Fabric 平台，获 NVIDIA 参投（2026-10-08）。

从激光器材料、硅光工艺到系统级创业公司，资本正沿光互连链条全面下注——这与当年 HBM 军备竞赛的剧本如出一辙。

小结​

光互连不再是数据中心的"锦上添花"，而是超节点规模的"生死线"。可插拔光模块在 4.8 万颗的量级上暴露了功耗天花板，NPO 用 5500 个光引擎交出了省电 550kW、可用度 99.8% 的量产答卷，CPO 与 OIO 则代表着更彻底的光电融合。当卡间通信成为训练时间的大头，"光进铜退"就不再是技术偏好，而是算力扩张的唯一出路。

采购英伟达服务器时，报价单上经常同时出现 HGX 与 MGX 两个词。它们不是新旧两代，而是两类完全不同的东西：一个是一块固定的基板，一套模块化的规则。分清这一点，能避免大部分选型返工。

HGX：一块不可修改的 8 卡基板​

HGX 的本质是英伟达设计、制造的 GPU 基板：4 卡或 8 卡 SXM 形态，NVLink 布线与 NVSwitch 芯片全部由英伟达固定，OEM 拿到后不能改动基板本身。戴尔、HPE、超微、联想等厂商围绕这块基板构建整机——机箱、散热、CPU（Intel Xeon 或 AMD EPYC）、内存、网卡、存储、BMC 都由 OEM 自主选择。

归属	HGX 体系
英伟达固定	GPU 数量与型号、NVLink 布线、NVSwitch、基板供电
OEM 决定	机箱高度、散热方式（风冷/液冷/混合）、CPU 型号、内存、NIC/DPU、NVMe、固件与服务等级
典型整机	戴尔 PowerEdge XE9680、超微 SYS-821GE 系列、联想 ThinkSystem SR675 V3

关键约束：PCIe 服务器用不了 HGX 基板——SXM 与 PCIe 是两条互斥的路线。据公开报道，8 卡 HGX H100 整机约 20 万至 30 万美元，B200/B300 级别约 25 万至 40 万美元，价差主要来自 OEM 的散热、存储与服务配置。

MGX：模块化参考架构​

MGX（2023 年推出）不是一块板，而是一套模块化规范：OEM 从英伟达给出的组件清单里独立选择机箱、CPU（x86、Grace、Vera 或其他 Arm）、GPU（SXM 或 PCIe，覆盖 Blackwell、Rubin 及老架构）、网络（NVLink、Spectrum-X 以太网、Quantum InfiniBand、BlueField DPU），英伟达称已有超过 100 种组合，覆盖从单卡边缘服务器到 GB200/GB300 NVL72 机柜。

维度	HGX	MGX
本质	固定 8 卡 SXM 基板	开放模块化参考架构
GPU 形态	仅 SXM	SXM 或 PCIe
CPU	OEM 选 x86	x86、Grace、Vera、第三方 Arm
覆盖范围	4 卡与 8 卡训练节点	单卡推理盒到 NVL72 机柜
典型产品	HGX H200/B300 整机	GB200 NVL72、RTX PRO Server、H200 NVL 系统

两个常见误解需要澄清。第一，MGX 不是 HGX 的替代品：HGX 面向需要极致互联带宽的 8 卡训练节点，MGX 覆盖推理服务器、CPU 与 GPU 混合节点等固定基板服务不好的长尾，许多机构最终两样都买。第二，2026 年的 Blackwell 旗舰（B200/B300）几乎只以 SXM 形态出现，PCIe 阵营由独立的 RTX PRO Server 产品线（基于 MGX）承接——两条线是被产品策略刻意分开的。

决策树与采购陷阱​

按四步走。第一步问互联：多节点训练、张量并行、大型 MoE，必须 SXM/HGX；单卡或双卡可解的推理与微调，PCIe 加 MGX 更省钱。第二步问机房：没有液冷且无法改造，NVL72 直接出局，风冷 PCIe 推理服务器往往是暖气候地区最便宜的可用算力。第三步问集成能力：有资深基础设施团队选 HGX 让 OEM 组机，性价比更高；团队薄弱或要快速上线选 DGX 整机（同一块 HGX 基板加英伟达认证的固件、软件栈与单一责任支持），为省心多付约两到三成溢价。第四步问规模：跨多机柜的组网交给 BasePOD/SuperPOD 参考架构，它们是集群蓝图而非服务器选项。

两个高频陷阱：其一，把 RTX PRO 6000 Server Edition 当成"B200 平替"对比互联性能——前者无 NVLink，走 PCIe，分布式训练会掉一个数量级；其二，忽略 MGX 系统的配置自由度带来的测试责任——OEM 组合自由度高，具体配置的验证矩阵要自己确认。

小结​

一句话记住三者关系：HGX 是英伟达焊死的 8 卡基板，DGX 是英伟达自己在 HGX 上装好的整机，MGX 是让 OEM 自由组装的模块化规则。训练要带宽选 HGX，推理要灵活选 MGX，要省心买 DGX——三条路对应三种团队，没有哪条天然更高级。

当竞争对手还在对比单颗 GPU 的 FLOPS 时，NVIDIA 已经把战场挪到了另一个维度。2026 年 GTC 发布的 Vera Rubin 平台，表面上是"新一代 GPU"，实际上是一套由七颗芯片组成的完整 AI 工厂蓝图。据站内芯片数据库，这七颗芯片分别是：Vera CPU、Rubin GPU、NVLink 6 交换机、ConnectX-9 SuperNIC、BlueField-4 DPU、Spectrum-6 以太网交换机，以及 Groq 3 LPX。本文逐一拆解这套"七芯片堆栈"的分工、协同与战略意图。

七颗芯片，各司其职​

先看全局分工表（数据据站内芯片数据库）：

#	芯片	角色	关键规格
①	Vera CPU	主机调度中枢	88 核自研 Olympus、1.5TB LPDDR5X、1.2TB/s
②	Rubin GPU	训练与 prefill 主力	288GB HBM4、22TB/s 带宽、50 PFLOPS FP4
③	NVLink 6 交换机	纵向扩展互联	单 GPU 3.6TB/s、NVL72 机柜 260TB/s
④	ConnectX-9 SuperNIC	横向扩展网络	单端口 1.6T、延迟低于 0.5μs、GPUDirect
⑤	BlueField-4 DPU	基础设施卸载与存储	驱动第三层推理上下文内存存储平台，token 吞吐最高 5 倍
⑥	Spectrum-6 交换机	数据中心以太网骨干	Scale-out 网络核心
⑦	Groq 3 LPX	智能体解码加速	256 颗 LPU/机架、128GB 聚合 SRAM、40 PB/s

七颗芯片覆盖了 AI 工厂从计算、互联、网络到存储的每一层——这是一个信号：NVIDIA 卖的不再是芯片，而是一整座工厂的参考设计。

计算层：Vera + Rubin + LPX 的异构三重奏​

计算层的分工体现了"每 token 经济学"的推理：

Rubin GPU 负责训练与 prefill。3360 亿晶体管、22TB/s 显存带宽，让它成为吞掉训练算力与推理 prefill（吃算力）这两个负载的最优解。

Groq 3 LPX 专攻智能体 decode。据站内芯片数据库，LPX 机架集成 256 颗 LPU，聚合 128GB 片上 SRAM 提供高达 40 PB/s 的片上带宽，互联达 640 TB/s。decode 阶段的核心瓶颈是内存带宽而非算力，LPU 用超大片上 SRAM 绕开这一瓶颈，延迟达到纳秒级——对于每秒上千次调用的 agentic AI 负载，这是 GPU 结构上难以企及的能力。GPU 管 prefill、LPU 管 decode，两种架构各干各的，总成本反而更低。

Vera CPU 是调度中枢。88 个自研 Olympus 核心、第二代 SCF 一致性结构（3.4TB/s 对分带宽）、1.5TB LPDDR5X 与 HBM4 构成单一一致性内存池，负责数据搬运调度、内存管理与系统控制编排——海量的智能体沙盒、KV 缓存卸载、多模型并发，都由它承接。

互联层：NVLink 6 + ConnectX-9 + Spectrum-6 的三级网络​

AI 工厂的网络是分层的，NVIDIA 用三颗芯片精确对应：

• NVLink 6 交换机（Scale-up）：机柜内纵向扩展，单 GPU 3.6TB/s 全互联带宽，让 72 乃至更多 GPU 像一颗 GPU 一样工作。这是训练超大模型的命脉，也是 NVIDIA 最深的护城河；
• ConnectX-9 SuperNIC（Scale-out）：单端口 1.6 Tb/s 的跨机柜网络，延迟低于 0.5 微秒，支持 GPU-NIC 直接 DMA，决定集群的横向扩展效率；
• Spectrum-6 以太网交换机：承载南北向流量与存储网络，是数据中心以太网骨干。

三级网络的本质是把"AI 工厂"拆解成可量化的工程指标：token 从进入机房到输出，要经过计算、Scale-up、Scale-out、存储四类路径，NVIDIA 在每一条路径上都放了一颗自己设计的芯片。

BlueField-4：被忽视的第三层存储革命​

七芯片堆栈中最容易被低估的是 BlueField-4 DPU。它的战略意义在于驱动第三层推理上下文内存存储平台——在 GPU 显存（HBM）与主机内存（LPDDR5X）之外，用 DPU 管理一层专门的推理上下文存储，官方宣称可将 token 吞吐提升最高 5 倍。

这重构了经典的 HBM-DRAM-NAND 三层存储金字塔：智能体对话的 KV 缓存、多轮会话上下文，不再挤占宝贵的 HBM4 容量，而是按热度分层放置在三级存储中。对于长上下文、多轮对话的 agentic AI 负载，这一层的存在直接决定了"每 GB 有效 KV 容量成本"——一个纯 GPU 厂商根本无法优化的指标。

生态锁定：NVLink Fusion 与定制化开放​

七芯片堆栈的封锁性引发过大客户反弹，NVIDIA 的回应是有选择的开放：

• NVLink Fusion：向合作伙伴开放 NVLink 互联，允许其将自定义 CPU 或加速器集成进 NVIDIA 的 Scale-up 域——用互联标准换取生态驻留；
• NVHBM 定制内存控制器计划：允许超大规模客户定制 HBM 配置，市场传闻亚马逊 Annapurna 团队正参与合作——把客户自研芯片的冲动，引导为"在 NVIDIA 平台上定制"的合作姿态。

这步棋颇为高明：客户想自研的动机无非是定制与议价，NVIDIA 干脆把定制能力开放出来，但互联与软件栈的根仍握在自己手里。

系统级竞争：对手的对位打法​

Bain 在 2026 年的行业分析给出了一个重要判断：AI 算力的竞争优势正从芯片规格转向系统级整合。这解释了为什么各大厂商都在拼"整栈"：

厂商	CPU	GPU/加速器	互联/网络	开放程度
NVIDIA	Vera（自研）	Rubin R200	NVLink 6 + ConnectX-9 + Spectrum-6	NVLink Fusion 有限开放
AMD	EPYC Venice	MI455X/MI500	Vulcano NIC + UALink	开放标准联盟
华为	自研鲲鹏系	昇腾系列	灵衢 UnifiedBus	国内生态自主

AMD Helios 机架的组合是 EPYC Venice（256 核 Zen 6）+ MI455X + Vulcano 网络芯片，以 UALink 开放标准对抗 NVLink 的封闭性——用"开放"换生态盟友。华为的灵衢 UnifiedBus 则在国内市场构建对位体系。但双方都面临同一个难题：NVIDIA 的七芯片是同步迭代的——Vera 与 Rubin 同代设计、NVLink 6 为 HBM4 的带宽特性量身定做、LPX 与 GPU 的 prefill/decode 分工在参考架构层面打通。对手的"拼装式整栈"在迭代节奏上天然慢一拍。

小结​

七芯片堆栈是 NVIDIA 对"AI 工厂"时代的一次完整应答：计算层用 Vera、Rubin、LPX 实现异构分工，互联层用 NVLink 6、ConnectX-9、Spectrum-6 铺设三级网络，BlueField-4 则重构了推理存储的金字塔。再辅以 NVLink Fusion 的有限开放与 NVHBM 定制计划，NVIDIA 把竞争维度从"单芯片规格"彻底抬升到"系统级整合"——Bain 的判断在这里得到了最好的注脚。对买方而言，评估下一笔 AI 基础设施投资时，问题已经不该是"这颗 GPU 多少 TFLOPS"，而是"这套系统能把每 token 成本压到多少"。谁能回答好后者，谁就赢得下一个五年。