跳到主要内容
Industry Research Team
查看所有作者

HBM-DRAM-NAND 三层重构:KV Cache 如何改变存储金字塔

· 阅读需 6 分钟
Industry Research Team

过去十年,存储金字塔的分工非常清晰:HBM 伺候计算核心,DRAM 扛系统内存,NAND 做持久化。2026 年,Agentic AI 的 KV Cache 把这条界线搅得七零八落——上下文越来越长,显存越来越装不下,HBM-DRAM-NAND 三层正在被重新定义。

Agentic AI 的 KV Cache 问题​

传统聊天机器人的一次请求,上下文不过几千 token;而 Agent 的工作方式是在一个会话里连续执行几十步任务——浏览网页、读写文件、调用工具、自我反思——每一步都要携带完整的对话历史。上下文从 8K 涨到 100 万 token(NVIDIA RTX Spark 已支持最长 100 万 token 上下文),KV Cache 的体积也随之线性膨胀。

问题在于 KV Cache 必须常驻显存才能避免重复计算。以 Rubin R200 为例,它配备 288GB HBM4、带宽 22TB/s,看似充裕,但在多路并发服务时,模型权重占掉一块,剩余空间很快就会被活跃会话的 KV Cache 吃满。上一代 Blackwell Ultra(B300)之所以把显存从 192GB 提到 288GB HBM3e,官方场景里明确有一条就是"长上下文 KV Cache 288GB 完整保留"——显存的增长节奏,正在被 KV Cache 而不是模型参数牵着走。

当单卡显存装不下时,业界给出的答案是:别把 KV Cache 困在 HBM 里,让它沿着存储金字塔往下走。

三层金字塔:角色被重新定义​

Vera Rubin 平台是这场重构的最佳样本。它的"七芯片堆栈"包含 Vera CPU、Rubin GPU、NVLink 6 交换机、ConnectX-9 SuperNIC、BlueField-4 DPU、Spectrum-6 以太网交换机和 Groq 3 LPX,其中内存系统呈现清晰的三层结构:

层级介质代表硬件容量/带宽新角色
热数据层HBM4Rubin R200(8 堆栈)288GB / 22TB/s活跃 KV Cache、模型权重
温热数据层LPDDR5XVera CPU1.5TB / 1.2TB/sKV 缓存卸载、与 HBM 构成单一一致性内存池
冷数据层NAND(SSD)BlueField-4 驱动的推理上下文内存存储平台PB 级会话持久化与跨请求复用,token 吞吐最高提升 5 倍

关键变化有三点。其一,LPDDR5X 与 HBM4 之间建立了单一一致性内存池——Vera Rubin NVL72 机柜内,72 颗 GPU 共享 20.7TB HBM4,36 颗 Vera CPU 提供 54TB LPDDR5X,KV Cache 可以在不损失一致性语义的前提下在两层间流动。其二,BlueField-4 不再只是安全卸载卡,而是被定位为"推理上下文内存存储平台",把结束回合的会话上下文写入 NAND,下次请求命中时直接回灌,省去重新 prefill 的算力开销。其三,NAND 从"存储盘"升级为"上下文内存",这是金字塔底层几十年来第一次获得计算语义。

HBF、PIM、M900:案例对比表​

围绕这条三层链路,整个存储产业在 2026 年密集出招:

方案厂商技术要点目标场景
HBF(高带宽闪存)SK海力士(AI Infra Summit 2026 "New Spectrum" 组合)给 NAND 加上类 HBM 的超宽接口KV Cache 冷层,带宽接近 DRAM 量级
PIM 存内计算SK海力士在 DRAM 附近完成部分计算,减少搬运KV Cache 原地更新
eSSD + SALT-KVSK海力士面向 KV Cache 语义优化的键值存储栈推理上下文持久化
OceanStor M900华为上下文内存存储集群,灵衢总线一跳直连 PB 级 KV Cache,SSD 读写寿命延长 16 倍昇腾超节点的 KV 基建
NVHBM 定制内存AWS Annapurna × NVIDIA面向 AI 负载的定制 HBM 方案云厂商定制化
超密度服务器内存模组美光(2026-09-15)单模组容量再上一档DRAM 温热层扩容

SK海力士还专门设立了 SK hynix Ventures(9 月 18 日落地硅谷),用投资孵化初创公司的方式押注"内存即基础设施"这条新赛道。值得注意的是华为 OceanStor M900:它与昇腾 960 超节点同期发布,通过灵衢总线一跳直连,把 PB 级 KV Cache 集群变成超节点的"外挂记忆体",并通过磨损均衡等手段把 SSD 读写寿命延长 16 倍——上下文存储的写放大问题,第一次被当成显性的工程指标来攻克。

协同设计取代采购​

这轮重构背后,是产业关系的转向:存储不再是"按目录价采购的标准件",而是与加速器协同设计的定制组件。NVIDIA 联合 AWS Annapurna 做 NVHBM,华为为昇腾自研 HBM 并配套 OceanStor M900,SK海力士直接下场定义 KV 存储软件栈。美光甚至在 9 月的口径中预测 NAND 与 DRAM 短缺将持续到 2028 年——在供不应求的市场里,谁能锁定定制内存供给,谁就握住了推理产能。

对芯片厂商而言,算力竞争的上半场比的是 FLOPS,下半场比的将是"每 token 需要搬运多少字节"。带宽金字塔的每一层接口,都成了架构设计的一等公民。

对推理 TCO 的影响​

这套三层结构对成本模型的影响是直接的。第一,KV Cache 卸载到 DRAM 和 NAND 后,同样规模的 HBM 可以服务更多并发会话,单 token 的 HBM 摊销成本下降。第二,BlueField-4 上下文存储平台宣称 token 吞吐最高提升 5 倍,本质上是把重复 prefill 的 GPU 算力换成了廉价的 NAND 读取——用存储的"宽"换算力的"贵"。第三,内存已占整机 TCO 约 40%(HBM 涨价后的行业口径),存储分层做得越细,整体成本曲线越平缓。

小结​

KV Cache 正在把存储金字塔从"容量阶梯"改造成"温度阶梯":HBM 保活跃、DRAM 承接温热会话、NAND 做上下文持久化,三层之间以一致性内存池和专用存储平台(BlueField-4、OceanStor M900)贯通。SK海力士的 HBF/PIM/SALT-KV 与美光的超密度模组说明,存储大厂已经从跟随 AI 转向定义 AI 基础设施。下一阶段推理成本的胜负手,不在 GPU 的 FLOPS 表格上,而在三层存储之间的数据搬运路线上。

Meta MTIA v3 进入量产:拆解式架构背后的自研推理芯片雄心

· 阅读需 4 分钟
Industry Research Team

当同行还在讨论要不要自研芯片时,Meta 已经给出了激进的答案:在 2027 年底之前连续部署四代自研加速器。九月进入量产的 MTIA v3,是这条快车道上最新的里程碑。

Iris 亮相:从单片走向芯粒​

据多家媒体报道,Meta 第三代自研芯片 MTIA v3 由博通担任设计伙伴、台积电负责制造,代号 Iris,产品序列上称为 MTIA 300,已于 2026 年 9 月启动量产。与 2024 年问世的 MTIA v2 采用单片架构不同,v3 转向拆解式芯粒设计,将计算与内存接口拆分为独立硅片,可在不重做计算核心的前提下更换网络或内存模块,灵活应对不同模型对内存与算力配比的要求。

新芯片基于台积电 N3P 级 3 纳米工艺,封装内集成扩展互联结构,用于支撑跨数千节点的分布式推理。在关键指标上,Meta 称其稀疏计算性能较前代提升 7 倍,推荐类模型吞吐量为上代的 3.5 倍,能效提升 2.8 倍。据分析师估算,v3 的内部生产成本比采购同级商用 GPU 低约 40%。

维度MTIA v2MTIA v3
制程台积电 5 纳米台积电 N3P(3纳米级)
架构单片拆解式芯粒
推荐模型吞吐基准3.5 倍
能效基准2.8 倍
稀疏计算性能基准提升最多 7 倍

砍掉训练用途:只做推理的理由​

MTIA 路线图上有一个耐人寻味的转折。据彭博社等报道,Meta 取消了原定兼顾训练与推理的 Olympus 项目,理由是双用途芯片成本要高出约 30%,在吉瓦级部署规模下这笔溢价无法接受。Meta 工程副总裁 Yee Jiun Song 公开解释过这一取舍:推理负载占 Meta 计算消耗的大头,专用设计在每瓦与每美元性能上远比通用设计划算。

后续产品也已排定:第三代 MTIA 450(代号 Arke)于 2026 年 9 月收到台积电交付的 12 颗工程样片,实测性能与仿真结果偏差在 2% 到 3% 之间,计划 2027 年上半年进入数据中心;第四代 MTIA 500(代号 Astrid)设计收尾在即,目标 2027 年底部署。Meta 承诺未来任何 12 个月内投入服务超过 1 吉瓦的自研芯片。

推荐系统是主场,模型生态在扩圈​

MTIA v3 的第一个主战场依然是 Facebook 与 Instagram 的排序推荐系统——这是 Meta 广告业务的算力底座。2026 年 9 月,Meta 确认已将 Muse 系列模型优化适配 MTIA 300,用于推荐基础设施;芯片同时具备运行 Llama 4 等生成式模型的能力,Meta 内部也测试过 DeepSeek 等第三方模型。大规模预训练则继续交给英伟达 GPU。

资本与电力为这条路线提供了后盾。Meta 预计 2026 年资本开支在 1150 亿至 1450 亿美元之间,较 2025 年的 720 亿美元大幅跃升,并计划在 2026 年上半年签约超过 5 吉瓦的数据中心容量。2026 年 7 月成立的 Meta Compute 部门还计划将富余算力对外出售,自研芯片由此从成本工具升级为潜在收入来源。

小结​

MTIA v3 的意义不在于单点性能对标英伟达,而在于验证了一条"专用化加快速迭代"的自研路线:用芯粒架构对冲制程风险,用推荐推理的确定性负载摊薄成本,用四代连发的节奏压榨学习曲线。对于所有承载海量推理负载的平台而言,Meta 的这份答卷值得细读。

MI400 系列盘点:MI430X 驱动欧洲 LUMI-AI 超算,AMD HBM4 家族成型

· 阅读需 6 分钟
Industry Research Team

当 MI430X 与第六代 EPYC 确定驱动欧洲 LUMI-AI 超算,AMD 的 HBM4 家族不再只是 PPT 上的参数表,而是正在被国家级算力项目、超大规模云厂商与 AI 实验室同时验证的产品矩阵。本文盘点 MI400 系列的完整版图,以及它背后的收购组合拳。

MI400 系列:一张覆盖三大场景的产品矩阵​

MI400 系列于 CES 2026 正式发布,在 Advancing AI 2026 上确认了清晰的 SKU 分层。三款产品覆盖了数据中心采购的三种典型场景:

型号定位显存算力出货时间
MI455X前沿训练 + 推理旗舰(Helios 机架专用)432GB HBM440 PFLOPS 级 MXFP4(dense)2026 H2 起量产
MI430XHPC / 主权 AI(硬件 FP64 加速)432GB HBM4硬件 FP64 288 TFLOPS2027 H1
MI350P企业存量升级(风冷 PCIe)144GB HBM3E4.6 PFLOPS MXFP4已出货

再往远看,AMD 已在 Advancing AI 2026 预告了下一代 MI500 系列:CDNA 6 架构、台积电 2nm、HBM4E 显存,预计 2027 年发布,由 AMD 与 OpenAI 联合定义开发。从 MI400 到 MI500,加上此前的 MI350(CDNA 4)与 MI300X,AMD 的产品路线第一次形成了以年度为节奏的完整梯队,而非零星的单点反击。

值得注意的是,MI455X 与 MI430X 共享同一套 CDNA 5 加 432GB HBM4 的硬件底座——AI 吞吐优先与 FP64 精度优先通过同一平台的不同调校实现,这大幅摊薄了研发与生态适配成本。

MI430X:用 FP64 锁定国家级超算​

MI430X 是 MI400 家族中最具象征意义的一款。它与 MI455X 同样配备 432GB HBM4、23.3TB/s 带宽,但核心差异在于原生硬件级 FP64 双精度:288 TFLOPS,约为 NVIDIA Vera Rubin 的 8.7 倍。这是一个精准卡位——双精度科学计算是 NVIDIA 在消费级 AI 浪潮中相对弱化的领域,而它恰恰是国家级超算的刚需。

MI430X 已经锁定两套国家级系统:

  • 美国 ORNL "Discovery":橡树岭国家实验室新一代超算,2028 年部署;
  • 法国 "Alice Recoque":GENCI 与 CEA 联合打造的欧洲系统。

AMD 官方已在 8 月 4 日财报电话会确认,MI430X 正在 ORNL 与法国 Jean Zay 的 exascale 级超算中运行。而根据最新进展,MI430X 与第六代 EPYC 将共同驱动欧洲 LUMI-AI 超算——LUMI 是欧洲最强的超算系统之一,其 GPU 分区此前基于 MI250X,此次升级至 HBM4 平台,是欧洲主权 AI 对 AMD 路线的直接背书。

超算背书对 ROCm 生态的拉动​

国家级超算项目的价值远超订单本身。超算是软件生态最好的试炼场:混合精度科学计算、大规模 MPI 并行、异构调度,这些极端场景会把 ROCm 的短板逼出来并倒逼修复。同时,超算项目通常要求开源软件栈与长期维护承诺,这与 ROCm 的开源路线天然契合。ORNL、Jean Zay、Alice Recoque、LUMI-AI 构成的"超算联盟",正在为 ROCm 提供一种商业市场买不到的信誉资产——当欧洲与美国的公共算力项目都选择 AMD 时,商业客户的采购顾虑会显著降低。

平台协同:EPYC Venice 与 2nm 双线量产​

MI400 家族的算力释放离不开主机侧的配套。第六代 EPYC "Venice"(Zen 6,最高 256 核,1.6TB/s 内存带宽)已在台积电 2nm 产线启动量产,并延伸至美国亚利桑那工厂——这使 AMD 成为唯一在两个地区都有先进制程量产能力的 x86 服务器 CPU 厂商。下一代 "Verano" 已为 AI 工作负载预留设计,将延续 CPU 与 GPU 平台协同的打法。

CPU 与 GPU 的协同不是简单的搭配销售。在 Helios 机架中,每托盘 4 颗 MI455X 配 1 颗 Venice,CPU 负责数据搬运与调度,CPU-GPU 互联带宽是上一代的 2 倍。对推理集群而言,主机侧的数据预处理好坏直接影响 GPU 利用率——这正是 AMD"CPU 加 GPU 双引擎"路线在 AI 时代的复利。

收购组合拳:内存、推理与空间智能​

围绕 MI400 平台,AMD 在 2026 年展开了一组方向明确的收购:

收购标的能力方向战略意图
MEXT内存访问优化强化 HBM4 时代的显存子系统效率
Taalas快速推理硬件补充推理专用架构能力
World Labs空间智能 / 物理 AI卡位世界模型与机器人时代

三笔收购分别对应内存、推理与物理 AI 三条线,加上与 OpenAI、Meta 各约 1000 亿美元级的合作以及 Anthropic、微软的合作,AMD 正在从"卖芯片"走向"卖 AI 基础设施能力"。这组拼图的完整解读,我们将在后续文章中展开。

市场机会与追赶空间​

AMD 管理层看到的机会窗口清晰而巨大:推理与数据中心 CPU 合计 2200 亿美元的市场机会。推理是 AI 商业化落地的主战场——训练市场已被 NVIDIA 牢固占据,但推理市场的格局远未定型,对显存容量、单位 token 成本与开放生态的敏感度更高,这正是 MI400 家族的差异化所在。

但差距同样不能回避:AMD 的市值仍不足 NVIDIA 的五分之一,CUDA 生态的迁移成本依然存在。分析师普遍认为,这种差距本身就是追赶空间——如果 MI400 系列与 Helios 的 6GW 级订单按期兑现,AMD 在 AI 加速器市场的份额将获得结构性提升。

小结​

MI400 系列的意义在于"家族成型":MI455X 打前沿训练与推理,MI430X 用 FP64 锁定 HPC 与主权 AI,MI350P 覆盖企业存量升级,MI500 预告下一代——四个层次共享平台底座,配合 EPYC Venice 的 2nm 双厂量产,AMD 第一次拿出了一条完整、连贯、可预期的数据中心产品线。LUMI-AI 等超算的背书正在为 ROCm 生态积累信誉,而 MEXT、Taalas、World Labs 的收购则为这张版图补上了内存与物理 AI 的拼图。2027 年 MI430X 正式出货时,我们将能看到这套组合拳的完整威力。

MI455X 深度解析:CDNA 5、432GB HBM4、40 PFLOPS MXFP4,AMD 数据中心旗舰全拆解

· 阅读需 8 分钟
Industry Research Team

2026 年 10 月,AMD 数据中心战略进入兑现期:MI455X 作为首款采用台积电 N2 制程的 AI GPU,正从发布走向量产。本文基于站内芯片卡数据,从制程、架构、显存、互联到量产供应链,全面拆解这款对标 NVIDIA Rubin 的旗舰产品。

产品定位:MI400 系列的旗舰担当​

MI455X 是 AMD 在 2026 年 7 月 23 日 Advancing AI 2026 大会正式确认的 Instinct MI400 系列旗舰,也是 Helios 机架的核心算力来源。它专为大规模 AI 训练与分布式推理而生,覆盖万亿参数大模型训练、低延迟高吞吐推理、强化学习与代理式 AI 等场景。相比上一代 MI355X,MI455X 的 FP4 峰值算力提升最高 4 倍,token 吞吐最高提升 18 倍,单位 token 成本最高可降 34 倍——这些数字背后,是 CDNA 5 架构对低精度计算时代的系统性重构。

从产品分层看,MI400 系列目前形成了清晰的矩阵:MI455X 面向前沿训练与推理(Helios 机架专用),MI430X 面向 HPC 与主权 AI(硬件 FP64 双精度),MI440X 面向企业级 8-GPU 服务器。MI455X 站在金字塔尖,承担着 AMD 与 NVIDIA Rubin 系列正面对抗的任务。

制程拆解:N2 计算芯粒 + N3P Fabric 的混合封装​

MI455X 最引人注目的标签,是"首款 TSMC N2 制程 AI GPU"。在 NVIDIA Rubin 仍停留在 3nm 节点的同期,AMD 选择在计算芯粒上抢跑 2nm,这是一步高风险高回报的棋。

从封装架构看,MI455X 采用多芯片模块(MCM)设计:

芯粒组件制程功能
8 个计算芯粒(XCD)TSMC N2(2nm),3D 混合键合承担矩阵与向量计算
2 个 I/O die(IOD)TSMC N3PI/O 与互联控制
2 个缓存/Fabric die(FCD)TSMC N3P缓存与 fabric 交换
12 颗 HBM4 堆栈—显存子系统

整颗 GPU 晶体管数量达到 3200 亿,采用 CoWoS-L 封装将所有芯粒与 HBM4 堆栈整合。把计算芯粒放在最先进的 N2 节点、把 I/O 与 fabric 放在成熟度更高的 N3P,是一种务实的成本-性能平衡:计算部分享受 2nm 的晶体管密度与能效红利,而互联与缓存部分避开 2nm 初期的良率与成本压力。

N2 抢跑的意义与良率风险​

抢跑 N2 的意义在于三个层面。第一,能效:2nm 芯片在同等功耗下提供更高算力密度,这对 TDP 高达 1200-1500W 级别、必须全液冷的 AI GPU 而言,直接决定机架功率预算。第二,先发卡位:台积电 N2 产能在 2026 年仍然紧张,AMD 与 EPYC Venice 共享 N2 产线,形成了对先进节点的规模化采购议价权。第三,叙事优势:在全球 AI 芯片竞赛中,"首款 2nm AI GPU"的头衔本身就是营销资产。

但风险同样真实。N2 初期的良率爬坡不确定性,会直接影响 3200 亿晶体管大芯片的良率成本;CoWoS-L 先进封装产能是另一个行业级瓶颈。AMD 的对冲方式正是多芯粒设计——单个 XCD 面积远小于单片巨芯,良率损失可控,这也是行业走向 chiplet 化的深层原因。

显存系统:432GB HBM4 与 23.3TB/s​

显存是 MI455X 相对 NVIDIA 最硬的数字优势。它配备 12 颗 HBM4 堆栈,每颗 36GB,总容量 432GB,是 NVIDIA Rubin R200(288GB)的 1.5 倍;显存带宽达 23.3TB/s,高于 Rubin 的 22TB/s。

对推理业务而言,大显存的意义是直接的成本优势:更大的模型可以完整驻留在单卡显存中,减少张量并行带来的通信开销。432GB 意味着 700B 级模型配合 FP4 量化可以在机架级完整加载,这也是 AMD 宣称"单机柜可运行 700B 模型"的底气。同时,HBM4 带宽从 MI355X 的约 8TB/s 跃升至 23.3TB/s,接近 3 倍,极大缓解了 LLM 推理中最常见的带宽瓶颈——在自回归解码阶段,每生成一个 token 都需要完整读出模型权重,带宽几乎线性决定推理速度。

CDNA 5 架构哲学:Wave32 与计算子系统的重构​

CDNA 5 架构最值得玩味的细节,是从上代 Wave64 转向 Wave32 原生执行。Wave 是 GPU 调度执行的基本单位,Wave64 意味着 64 个工作项打包在一个 warp 中调度。转向 Wave32 后,每条指令的调度粒度减半,寄存器分配更灵活,分支发散的代价更低,对不规则计算负载(如稀疏注意力、MoE 专家路由)更友好。这与推理时代工作负载日益动态化、稀疏化的趋势深度契合——当 AI 模型从稠密训练走向 MoE 与长上下文推理,执行单元的灵活性比峰值 FLOPS 更能决定实际性能。

配套的计算子系统升级同样系统化:

  • 超越函数引擎:将 exp、log 等非线性运算硬件化。softmax、RMSNorm、激活函数是大模型每个 transformer 层的必经之路,硬件化后这些操作不再占用通用计算资源,对推理延迟的改善立竿见影。
  • Tensor Data Mover:专门的数据搬运引擎,负责张量在显存、缓存与计算单元之间的流转,让计算单元专注于计算本身,减少等待数据的时间。
  • 192MB L2 缓存:是上代 MI355X 32MB 的 6 倍。更大的片上缓存意味着 KV Cache 与激活值可以更多驻留片上,降低对 HBM4 带宽的实际压力。

精度矩阵:MXFP4 时代的算力语言​

CDNA 5 支持 FP4、FP6、FP8 与 BF16 全精度矩阵计算。MI455X 的官方标准是 dense(密集)算力:MXFP4 40.26 PFLOPS、MXFP8 20.1 PFLOPS、FP16 矩阵 5 PFLOPS(结构化稀疏 10.1 PFLOPS)、FP32 向量 315 TFLOPS、INT8 矩阵 5 POPS。

这里有一个需要消费者警惕的口径问题:AMD 坚持 dense 口径,而 NVIDIA Rubin 同期产品以 sparse(稀疏)口径宣传。两边的数字不能直接比较。这也是 AI 算力市场长期存在的"数字游戏"——只有统一到 dense 口径,MI455X 与 Rubin 的对比才有意义。

与 NVIDIA Rubin R200 的正面对比​

把两款同代旗舰放在一张表里,格局会清晰很多:

对比项MI455X(CDNA 5)NVIDIA Rubin R200
计算芯粒制程TSMC N2(2nm)TSMC 3nm
晶体管数量3200 亿3360 亿
显存容量432GB HBM4288GB HBM4
显存带宽23.3TB/s22TB/s
FP4 算力40.26 PFLOPS(dense)50 PFLOPS(sparse,折算约 25 PF dense)
配套 CPUEPYC Venice(Zen 6,256 核)Vera ARM(88 核)
机架互联UALink 开放标准NVLink 封闭生态
软件生态ROCm 7/8CUDA 13
TDP未公开(直接液冷)未公开

AMD 的优势集中在显存容量、dense 口径下的 FP4 算力、开放互联与制程代际;NVIDIA 的护城河仍在软件生态成熟度与网络产品线。这款产品的胜负手不在纸面参数,而在 ROCm 生态能否承接住大规模迁移、以及量产爬坡速度。

量产进展与 HBM4 供应链​

根据 2026 年 10 月的量产进展信息,Helios 机架已于 2026 年 7 月开始量产,首批系统在 Q3 末出货,Q4 进入放量阶段。这一节奏兑现了 AMD 在 CES 2026 与 Advancing AI 2026 上的承诺,也让 OpenAI、微软、Oracle 等客户的部署时间表有了落地的物理基础。

供应链层面,三星是 AMD 的首选 HBM4 供应商:双方于 2026 年 3 月签署 MOU,三星 HBM4 已于 2026 年 2 月实现量产。CEO 苏姿丰在 10 月初亲赴首尔,追加 HBM4 供给谈判——这个时间点恰好卡在 Helios Q4 放量之前,显存供应成为交付节奏的关键变量。据报道,三星 HBM4 产能已售罄至 2029 年,三星目标在 2027 年将产能翻倍。在 HBM4 全面紧缺的 2026 年,谁能锁定更多显存堆栈,谁就能在 AI GPU 市场多抢下一个季度的份额。

小结​

MI455X 是 AMD 历史上第一次在制程节点(N2)、显存规格(432GB HBM4)、算力口径(dense 40 PFLOPS 级 FP4)三个维度同时与 NVIDIA 平起平坐甚至局部反超的产品。N2 抢跑与 Wave32 原生执行体现了 CDNA 5 面向推理时代的架构哲学,而量产爬坡与 HBM4 供应链则决定了这手好牌能打出多少实际价值。对采购方与开发者而言,2026 年 Q4 放量节点之后的真实交付数据与 ROCm 生态成熟度,才是验证 AMD 数据中心雄心的最终标尺。

美光的 HBM4 豪赌:产能、产地与市场格局

· 阅读需 4 分钟
Industry Research Team

在HBM三强中,美光长期是"最不可忽视的第三名"——体量最小,但增长姿态最凶。当韩系双雄比拼产能规模时,美光选择了一条更聪明的路径:不比总量,比爬坡速度、产品世代切换与长约锁定的能力。

产能翻倍:10 万片的年底目标​

据2026年9月多家媒体报道的行业消息,美光计划到2026年底将HBM月产能提升至约10万片晶圆,较2025年每月约4万至5万片的水平接近翻倍,新增设备正在其台湾铜锣与新加坡Woodlands封装基地安装,广岛厂的配套投资也在筹备之中。需要说明的是,这一具体数字目前来自供应链口径,美光官方尚未正式确认。

即便翻倍落地,美光与三星、SK海力士的差距依然明显——两家韩企的HBM月产能据行业估算均在15万至20万片之间,是美光当前规模的3到4倍。但市场份额的差距远小于产能差距:据Counterpoint Research估算,2026年第二季度全球HBM份额为SK海力士50%、三星32%、美光18%。产能翻倍的意义不在于追平,而在于把差距压缩至此前的约一半,从而在供货资格与长约谈判中获得更重的筹码。

美光HBM关键指标现状与目标
2025年HBM月产能约4万至5万片
2026年底目标约10万片
HBM4产出占比从年初20%至30%升至年底最高50%
HBM4累计收入已突破10亿美元(2026年6月口径)
2026年Q2市场份额18%(Counterpoint估算)
2027年产能大部分已被客户长约锁定

HBM4:绑定 Vera Rubin 的产品卡位​

美光的豪赌核心是12层HBM4。该产品于2026年第一季度量产,其中36GB 12层版本专为英伟达Vera Rubin平台设计,官方公布的带宽超过2.8TB/s,能效较上一代HBM3E提升逾20%。CEO Sanjay Mehrotra在2026年6月的财报电话会上表示,HBM4的产能爬坡速度约为12层HBM3E的两倍,累计HBM4出货收入已突破10亿美元。

更关键的财务背景是:美光最新一个财季(截至2026年5月28日)营收达414.6亿美元,而上年同期仅93亿美元——存储超级周期带来的现金流,正是这场产能豪赌的弹药库。公司同时确认,2026年全年HBM产能已售罄,2027年产能的相当部分已通过长期协议锁定,且价格显著高于2026年水平。

产地布局:日、台、新的三角​

与韩企集中本土不同,美光的HBM版图横跨三地:前端DRAM晶圆依托日本广岛(1-gamma节点为HBM4E做准备)、TSV与堆叠封装分布在台湾铜锣和新加坡,印第安纳州的美国本土存储基地则瞄准更远期的AI存储需求。这种产地多元化在出口管制时代具有独特的地缘价值,也是美光向美国大客户销售的隐性加分项。

研判:不对称竞争的天花板与地板​

美光的处境是典型的"不对称竞争":天花板由韩企的产能规模决定,地板则由长约与Vera Rubin绑定保住。展望2027年,HBM4E将开启定制化HBM时代,这对美光反而有利——定制化意味着客户关系与设计响应速度的权重上升,纯粹产能规模的权重下降。只要存储紧缺延续到2027年乃至2028年(多家机构如此预测),美光就有机会把18%的份额向20%以上推进。豪赌成色的最终裁判,是英伟达Rubin世代的实际出货节奏。

微软 Fairwater:为 AI 重新发明的数据中心

· 阅读需 4 分钟
Industry Research Team

传统数据中心为百万种应用服务,Fairwater 只为一件事而生:把数十万颗 GPU 拧成一台跨越州界的巨型计算机。这代表微软对 AI 基础设施的全新定义。

两座站点,一座超级工厂​

Fairwater 系列首站位于威斯康星州芒特普莱森特,2025 年 9 月对外公布,初始投资 33 亿美元,后续微软又追加 40 亿美元,威斯康星总投入超过 70 亿美元。据微软官方信息,该园区占地 315 英亩,三座建筑屋顶面积合计约 120 万平方英尺,采用双层高密度架构;设备于 2026 年 4 月启动上线调试,首座设施于 2026 年 6 月 23 日宣布全面投运。第二座 Fairwater 站点位于佐治亚州亚特兰大,已于 2025 年 10 月率先运营。

真正的巧思在于联网。两座站点通过专用光纤 AI 广域网直连,构成微软首座跨州"AI 超级工厂":大型训练任务可拆分到两地协同执行,微软称此举可将部分训练周期从数月压缩到数周。威斯康星园区还规划了第二座设施,预计 2028 年建成,微软并计划在美国其他地区复制这一模式。

Fairwater 关键事实数据
威斯康星首站投运2026 年 6 月 23 日
亚特兰大站点投运2025 年 10 月
威斯康星园区规模315 英亩,约 120 万平方英尺
威斯康星投资初始 33 亿美元,总计超过 70 亿美元
加速器规模数十万颗英伟达 GB200 与 GB300
单机架 GPU 数量72 颗 Blackwell GPU(NVLink 域)

工程细节:密度、液冷与扁平网络​

Fairwater 与传统云数据中心的差异体现在三个维度。计算密度上,每个机架在单一 NVLink 域内封装 72 颗英伟达 Blackwell GPU,为当时云平台最高机架吞吐水平;散热上,园区采用设施级闭环液冷,冷却液初次灌注后循环使用,微软宣称该设计将数据中心对当地水资源的消耗降到极低水平;网络架构上,单一扁平的高速网络让数十万颗加速器可以像一台机器一样协同工作。

这种设计的本质是把云数据中心的"多租户、多应用"模型彻底翻转为"单一巨型任务"模型:传统机房同时运行数百万个互不相关的工作负载,而 Fairwater 让一个前沿模型训练任务横跨百万级硬件部件。微软将其纳入更宏大的 Azure AI 超级工厂架构,与早期 AI 超算及 Azure 全球算力池互连,目标是让每吉瓦电力产出最大数量的有效 AI token。公司提出的路线图是每 18 到 24 个月将 AI 训练能力提升 10 倍。

电力与竞争背景​

支撑这一切的底层约束是电力。据公开报道,微软已签署多项天然气发电协议(总规模接近 5 吉瓦),并通过建设太阳能电厂与预付电网费用锁定供电,以分散跨州选址带来的电力需求压力。竞争对手的动向同样激进:xAI 的 Colossus 2 已成为全球首个吉瓦级训练集群,Meta、谷歌、亚马逊均在以吉瓦为单位扩张。UBS 等机构追踪 Fairwater 部署节奏并将其纳入 Azure 增长预测,显示资本市场已把 AI 数据中心建设视为云厂商竞争的核心变量。

小结​

Fairwater 的意义超出了一座数据中心:它验证了"分布式超级工厂"这一全新基建形态——训练任务不再受限于单一园区的电力与空间,而是可以在数百英里外的站点间自由调度。当 AI 竞赛的胜负手从芯片数量转向电力、散热与互联的系统工程,微软用 Fairwater 给出了自己的答案模板。

微软 Maia 200 量产落地:Azure 自研推理芯片的关键一跃

· 阅读需 4 分钟
Industry Research Team

距离第一代 Maia 100 发布两年多之后,微软的第二代自研 AI 加速器 Maia 200 终于从传闻走向量产部署。这枚专为推理打造的芯片,正在改写 Azure 的成本结构。

从跳票到落地:Maia 200 的问世之路​

微软的自研芯片计划于 2023 年 11 月首次公开,与 Cobalt CPU 同期亮相。但 Maia 系列的推进并不顺利,据公开报道,设计变更与人员流失曾迫使时间表一再推迟,量产节点最终落到 2026 年。2026 年 1 月 26 日,微软正式发布 Maia 200,部署几乎随后展开,从首颗封装芯片到机柜上线的时间据称缩短至同类项目的一半以内。

这枚芯片的核心参数相当激进:台积电 3 纳米工艺,单颗集成超过 1400 亿晶体管;配备 216GB HBM3e 显存,带宽达 7TB/s,另有 272MB 片上 SRAM 与专用 DMA 引擎;在 750W 的 SoC 功耗包络内,提供超过 10 PetaFLOPS 的 FP4 算力与超过 5 PetaFLOPS 的 FP8 算力。微软称其 FP4 性能是亚马逊第三代 Trainium 的 3 倍,FP8 性能超过谷歌第七代 TPU,每美元性能较 Azure 现有最新硬件提升 30%。

指标Maia 200 规格
制造工艺台积电 3 纳米
晶体管数量超过 1400 亿
显存216GB HBM3e,7TB/s 带宽
片上 SRAM272MB
算力FP4 超过 10 PetaFLOPS,FP8 超过 5 PetaFLOPS
功耗750W SoC TDP
互联每加速器 2.8TB/s 双向 Scale-up 带宽
集群规模最多 6144 颗加速器

标准以太网上的超大推理集群​

Maia 200 在系统层面有一个鲜明取舍:放弃私有互联协议,全面基于标准以太网构建两层 Scale-up 网络。每颗加速器提供 2.8TB/s 的双向专用带宽,单个托架内四颗芯片通过直连链路全互联,机架内与机架间则统一采用 Maia AI 传输协议,集群规模最大可扩展至 6144 颗加速器。

这套设计的商业逻辑很直白:推理是 Azure 每天承载的最大负载,而以太网生态的成熟度与成本优势远非私有协议可比。配合第二代闭环液冷换热单元和与 Azure 控制平面的原生集成,微软宣称这是其迄今部署过的效率最高的推理系统。

服务 GPT-5.2 与 Copilot,但不取代英伟达​

Maia 200 首批部署在爱荷华州德梅因附近的 US Central 区域,亚利桑那州菲尼克斯附近的 US West 3 区域紧随其后。它将承载 OpenAI 最新 GPT-5.2 系列模型的推理、Microsoft Foundry 与 Microsoft 365 Copilot 服务;微软超级智能团队也用它进行合成数据生成与强化学习,为下一代自研模型供料。与此同时,微软开放了 Maia SDK 预览,包含 Triton 编译器、PyTorch 支持与模拟器等工具。

值得注意的是,纳德拉明确表示微软将坚持"自研加外购"的双轨策略,继续向英伟达和 AMD 采购芯片。Maia 200 的定位是异构算力矩阵中针对推理优化的一环,而非全面替代。微软 2026 财年第一财季资本开支高达 349 亿美元,自研芯片每一分省下的成本,都直接体现在 Azure AI 的利润率上。

小结​

从 Maia 100 的试水到 Maia 200 的规模化部署,微软用两年多时间补上了超大规模云厂商自研芯片这块拼图。据公开报道,接替者 Maia 300 已在设计之中,时间线指向 2027 年。在谷歌 TPU 已开始对外销售、亚马逊 Trainium 加速扩张的背景下,Maia 系列的每美元性能优势,将决定 Azure 在 AI 推理时代的议价能力。

MIG 与算力切分:一张 A100/H100 如何服务多个租户

· 阅读需 3 分钟
Industry Research Team

GPU 共享有三档武器:时间片轮转最粗放,MPS 提升并发但不隔离,MIG 用硬件分区做到故障与安全双重隔离。多租户场景选错方案,轻则性能抖动,重则数据串租户。

三种切分方式的本质区别​

方式隔离级别显存保证故障隔离适用场景
时间片(Time-Slicing)仅时间维度无无开发测试、低风险负载
MPS进程级无硬保证弱同租户多进程提吞吐
MIG硬件分区有,独立显存带宽与 L2有生产多租户、合规场景

MIG(Multi-Instance GPU)把一张物理 GPU 切成多个独立实例,每个实例拥有专属的 SM、显存、显存带宽与 L2 缓存。租户之间互不干扰:一个实例上的进程崩溃不会波及其他实例,显存争抢与噪声邻居问题从硬件层面消除。A100、A30、H100 均支持,是当前数据中心级切分的唯一硬件方案。

MIG 档位规划​

以 A100 80GB 为例,官方 profile 如下:

Profile显存SM 占比每卡最多实例数
1g.10gb10GB7 分之 17
2g.20gb20GB7 分之 23
3g.40gb40GB7 分之 32
7g.80gb80GB全卡1

实践中的黄金档位是 1g.10gb 与 3g.40gb:前者把一张卡切成七份跑 7B 以下小模型的推理或开发环境,是 2025 年以来最常用配置;后者一份 40GB 足够中等模型微调。切分是静态的,改 profile 需要排空节点上的负载,规划节点池时最好按租户画像把"全跑 1g"与"全跑 3g"的机器分开。

在 Kubernetes 上落地​

NVIDIA GPU Operator 让 MIG 管理近乎自动化:给节点打上 nvidia.com/mig.config 标签(如 all-1g.10gb),MIG Manager 自动完成切分,device plugin 随后把实例以独立资源上报。租户侧的 Pod 只需在 resources.limits 里申请对应档位,例如请求一个 nvidia.com/mig-1g.10gb 资源单元。集群若要混合全卡与切分卡,用 mixed 策略即可让部分 GPU 保持完整模式。监控侧用 GPU Operator 自带的 DCGM Exporter 暴露利用率、显存与 XID 错误指标,接 Prometheus 做租户级报表。

实操建议​

  1. 先做租户画像:统计各业务的模型显存占用与时延要求,再定档位,避免切成 1g 后发现核心业务挤不进去。
  2. 时间片与 MIG 二选一为主:给稳定性敏感的生产负载用 MIG,给弹性开发环境用时间片,通过节点池隔离。
  3. 注意限制:切分后单实例算力上限固定,大模型推理放不进 40GB 就只能走全卡或多卡。
  4. 财务口径上把每个 MIG 实例当作独立计费单元,配额与报表都按实例粒度管理,才能真正把切分省下的成本落到账上。

寒武纪 MLU690 深度解析:700+ TFLOPS FP16 与国产训练卡的寒武纪时刻

· 阅读需 6 分钟
Industry Research Team

在华为昇腾与英伟达的双雄叙事之外,寒武纪正在写下国产 AI 芯片的第三条故事线:思元690 以 700+ TFLOPS FP16 登顶国产纸面算力,公司实现首次年度盈利,下一代芯片未发先涨 20%–30%。这个曾经靠情怀撑估值的"AI 芯片第一股",第一次同时握住了技术、商业与定价权三张牌。

一、思元690 核心规格:196GB HBM3 撑起的算力天花板​

按本站芯片卡收录的规格,思元690(MLU690)采用双 die Chiplet 封装,2026 年初量产,核心参数如下:

项目参数
架构新一代 MLUarch 架构
制程中芯国际 N+2(5nm 级),亦见台积电 4nm 双 die 报道
显存196 GB HBM3
显存带宽3.35 TB/s
FP16/BF16700+ TFLOPS
INT42800+ TOPS
互联MLU-Link 890 Gbps/卡
TDP400–500 W
单价¥14–15 万

与上代思元590 相比,这是一次全面换代;与 H100 相比,则是典型的"错位竞争":

指标思元690思元590H100 SXM对比 H100
显存196GB HBM396GB HBM2e80GB HBM32.45×
显存带宽3.35 TB/s~2 TB/s3.35 TB/s持平
FP16700+ TFLOPS345 TFLOPS989 TFLOPS~71%
INT8 推理反超(INT4 2800+ TOPS 口径)1380 TOPS1979 TOPS部分场景反超

196GB 显存是思元690 最锋利的差异化武器:单卡装下更大的模型与 KV Cache,在推理场景性价比突出;纯推理场景可达到 H100 的 80%–90%。短板同样清晰——FP16 训练算力与千卡以上分布式训练的互联工程成熟度。为此,WAIC 2026 上寒武纪同步落地了 256 卡规模超节点集群方案,已在多地智算中心部署,从"单卡算力"走向"系统级算力"。

二、架构演进:MLUarch 换代与 HBM3 上量​

思元690 的代际跃迁体现在三处:其一,MLUarch 架构换代(市场披露口径称新一代芯片采用 MLUarch 04),配合双 die Chiplet 封装,把晶体管预算投向张量算力与显存通道;其二,显存从 HBM2e 一举上量到 196GB HBM3,3.35 TB/s 带宽与 H100 持平——在国产供应链里率先解决"内存墙";其三,MLU-Link 890 Gbps 卡间互联已接近 NVLink 4 的 900 GB/s 量级,为 256 卡超节点铺路。软件侧的 NeuWare 是国内少有的云边端统一栈:PyTorch/TensorFlow 适配版、NeuBLAS、NeuDNN,以及全球首批商用 MLIR 图编译推理框架 MagicMind。

供应链上,台积电因实体清单停供后,寒武纪全线转向中芯国际 N+2,成为中芯先进制程的最大客户之一;N+2 产能已锁定至 2027 年。

三、涨价 20%–30%:国产芯片第一次掌握定价权​

路透社 2026 年 9 月 10 日报道:寒武纪下一代芯片(市场暂称"690")重新定价,较两个月前上涨 20%–30%。同期昇腾 950DT 报价突破 25 万元、沐曦、天数智芯等国产卡也集体上调 20%–30%——这不是寒武纪一家的孤例,而是 HBM 成本飙升叠加供不应求下的全行业现象。

值得注意的是官方态度:寒武纪董秘办回应"不要听信市场消息,一切以官方公告为准"。渠道价与官方定价之间存在明显温差——涨价是市场现实,但公司不愿为渠道炒作背书。这背后是国产 AI 芯片定价权的历史性变化:过去国产卡必须以"替代品折价"换取订单,如今供给稀缺让定价逻辑转向"稀缺溢价"。在华为、寒武纪、摩尔线程构成的国产三强格局中,寒武纪第一次拥有了"不降价也能卖动"的底气。

四、首次年度盈利:商业模式的拐点​

如果说涨价反映的是市场热度,盈利则验证了商业模式的成色。按 2026 年上半年行业复盘口径,寒武纪已实现首次年度盈利。配套数据同样亮眼:2026 年 Q1 营收 28.85 亿元,同比增长 160%;2026 年 6 月市值突破万亿元。客户结构上,字节跳动是最大客户(思元580/590/690 合计采购超 50 万颗,约占其采购的 65%),阿里、百度、中国移动相继进入订单名单。

"首次盈利"对国产 AI 芯片行业的标志意义在于:这个赛道第一次出现了不依赖补贴与融资、靠卖芯片本身赚钱的商业模式。研发投入可以自我造血,意味着产品迭代不再以资本耐心为限——这对动辄三年一代的芯片研发周期,是决定性的正循环。

五、命名之辨:思元系列与市场传闻的"690"​

最后回到一个细节:市场上热议的"690",官方从未正式发布命名。本站芯片卡以"思元690"收录其规格(已量产口径),而路透报道中的"690"实为市场对下一代芯片的暂称,寒武纪对具体命名、规格与定价均保持谨慎,一切以官方公告为准。这种"市场抢跑、官方缄默"的组合本身就是一个信号:在供给稀缺的卖方市场里,厂商不再需要靠预热造势——把名字留到正式发布,反而是一种定价权。

小结​

思元690 代表的"寒武纪时刻",本质上是三件事同时发生:技术上,700+ TFLOPS FP16、196GB HBM3 与 256 卡超节点让国产训练卡首次形成完整的系统级方案;商业上,首次年度盈利证明了国产 AI 芯片可以自我造血;市场地位上,20%–30% 的重新定价宣告国产芯片开始掌握定价权。当然,考验依然存在:千卡以上训练的互联工程成熟度、NeuWare 与 CUDA 的生态差距、以及下一代芯片能否如期放量。但至少在 2026 年秋天,国产 AI 芯片第一次同时拥有了技术、利润与议价能力。

MoE 架构对芯片意味着什么:稀疏激活的算力新账

· 阅读需 4 分钟
Industry Research Team

当前主流大模型几乎清一色采用混合专家(MoE)架构。很多人知道它"省算力",但少有人意识到:省下的算力并没有变成免费的午餐,而是被换成了对显存容量和互连带宽的更高要求。这笔账值得每个选型的人算一遍。

参数量与算力解耦​

稠密模型里每个参数在每个 token 上都要参与计算;MoE 把 Transformer 中的前馈层复制成许多"专家",由路由器为每个 token 挑选少数几个激活。以 DeepSeek-V3 为例,据其公开技术报告:总参数 671B,每 token 仅激活 37B,路由层包含 256 个路由专家外加 1 个常驻共享专家,每个 token 激活其中 8 个路由专家。计算量因此比同规模稠密模型低了一个数量级,但训练成本与模型能力并未等比打折——671B 总参的学习容量还在。

Mixtral 8x7B 是更早的参照:总参数约 47B,每 token 激活约 13B。规律一致:FLOPS 可以省,参数一个都省不掉。

瓶颈迁移:从算力到显存与通信​

对硬件而言,MoE 带来三个直接后果。

其一,显存容量压力反而更大。 671B 参数即使量化到 FP8 也要 600GB 以上,权重必须常驻显存等待被路由命中。算力需求降了,容量需求没降,"用小卡跑 MoE"的幻想在容量这一关就会破灭。

其二,通信成为新瓶颈。 专家分布在不同的卡上,每个 token 都要经历 dispatch(发给选中的专家所在卡)与 combine(收回结果)两次 all-to-all 通信,且跨层反复发生。DeepSeek 团队在技术报告中专门讨论了跨节点 all-to-all 的通信瓶颈,并用 DualPipe 流水线做计算通信重叠来掩盖它。对芯片来说,这意味着互连带宽的权重显著上升,节点内 NVLink 级带宽与跨节点网络都直接决定 MoE 的实际效率。

其三,负载不均衡。 热门专家可能被打爆,冷门专家闲置,硬件利用率随之波动。DeepSeek-V3 在推理部署中采用冗余专家策略,复制高负载专家来均衡压力——这又进一步推高了显存占用。

稠密与 MoE 的硬件账对照​

维度稠密模型MoE 模型
每 token 算力与参数量成正比远低于参数量
显存容量需求等于全部参数等于全部参数(一个不少)
主要通信模式数据并行的 AllReduce专家并行的 All-to-All
负载特征均匀可预测随路由波动,需均衡策略
选型关键带宽与算力平衡容量、互连带宽、通信软件栈

实操建议​

为 MoE 服务选硬件时,按优先级排:先看显存容量能否装下全量参数加运行时开销;再看节点内互连是否支撑专家并行的 all-to-all,卡间带宽不足时专家应尽量收拢在节点内;跨节点部署要评估网络带宽与通信计算重叠能力。推理侧尽量用大 batch,让分散命中各专家的 token 聚合成足够大的矩阵,维持算力利用率。一句话总结:MoE 时代,"算力够不够"的提问正在被"显存装不装得下、数据送不送得过来"取代。