跳到主要内容

62 篇博文 含有标签「NVIDIA」

NVIDIA AI chips and GPUs

查看所有标签

CUDA 与驱动版本兼容矩阵:部署工程师的避坑手册

· 阅读需 3 分钟
Industry Research Team

"代码在同事机器上能跑,到我这报 CUDA driver version is insufficient"——这类事故几乎都源于对版本兼容规则的一知半解。搞清三件事:驱动决定上限、工具包要求下限、次版本兼容有例外。

先分清三个版本号​

很多混乱来自三个"CUDA 版本"的混淆。nvidia-smi 右上角显示的 CUDA Version 是当前驱动最高支持的 CUDA 版本;nvcc --version 显示的是编译工具链的版本;PyTorch 里 torch.version.cuda 显示的是该轮子编译时链接的运行时版本。三者不一致本身不是错误,只有当驱动版本低于运行时所需的最低驱动时才会初始化失败。

最低驱动要求矩阵​

CUDA 工具包Linux 最低驱动备注
CUDA 11.x450.36.06 以上Kepler 之后架构,11.8 新增 Hopper
CUDA 12.x525.60.13 以上Blackwell 完整支持自 12.8 起
CUDA 13.x580.65.06 以上Pascal/Maxwell/Volta 支持止步于 R580 驱动

驱动对旧工具包是向后兼容的:新驱动永远能跑旧 CUDA 编译的程序,所以"升级驱动不升级工具包"是安全的,反过来才要小心。同时注意架构生命周期:Blackwell(算力 10.0)从 CUDA 12.0 开始支持并在 12.8 完善到位;而 Pascal、Volta、Maxwell 的支持在 CUDA 12.x 止步,对应 R580 是它们的最后驱动分支。

次版本兼容的三个例外​

从 CUDA 11 起,同一大版本族内的应用只需满足最低驱动即可运行,这就是次版本兼容(Minor Version Compatibility):用 CUDA 12.9 编译的程序,可以跑在只装了 CUDA 12.0 最低驱动(525 系列)的机器上。但有三个例外会让它翻车:

  1. 用到新驱动才有的特性:应用会返回 cudaErrorCallRequiresNewerDriver,解决办法只能是升级驱动。
  2. 依赖 PTX 运行时编译:驱动里不带对应架构的 PTX JIT 支持时程序无法运行,老驱动加新架构尤其危险。
  3. 编译时未显式指定目标架构:次版本兼容要求给 nvcc 传 -arch=sm_xx 这类显式参数,不能依赖默认值。

实操建议​

装机的标准动作是先定工具包再定驱动:查清目标框架(PyTorch、TensorRT 等)要求的 CUDA 大版本,再按下表选不低于最低值的驱动,并优先使用框架官方 NGC 容器镜像,把宿主机驱动作为唯一需要管理的版本变量。排障时按顺序自查:nvidia-smi 能否执行(驱动层)、torch.cuda.is_available() 是否为真(运行时层)、报错码是否指向特性缺失(兼容层)。集群里多代显卡混布时,务必以最老那张卡的架构决定编译时的 -arch 参数,只按 H100 编译的轮子在 A10 上大概率直接报 no kernel image available。

桌面 AI 实验室:DGX Spark 与 DGX Station 的使用场景拆解

· 阅读需 4 分钟
Industry Research Team

英伟达把 Grace Blackwell 塞进了两个机盒:一个小如 Mac mini,一个像立式工作站。DGX Spark 与 DGX Station 的共同卖点是"在桌面上完成原型,再无缝迁往数据中心",但两者价格差一个数量级,适用人群并不重叠。

两台机器,两套定位​

DGX Spark 由 GB10 超级芯片驱动:一颗桌面优化的 Grace CPU(20 核 Arm)通过 NVLink-C2C 连接带第五代 Tensor Core 的 Blackwell GPU,128GB CPU 与 GPU 一致性共享的统一内存(LPDDR5X),FP4 算力最高 1 PFLOPS。DGX Station 则搭载 GB300 Desktop 超级芯片:72 核 Grace Neoverse V2 加 Blackwell Ultra GPU,FP4 算力 20 PFLOPS,784GB 一致性内存(288GB HBM3e 加 496GB LPDDR5X),并配 ConnectX-8 800G 网卡支持多机互联。

规格DGX SparkDGX Station
芯片GB10(Grace + Blackwell)GB300 Desktop(Grace + Blackwell Ultra)
CPU20 核 Arm Grace72 核 Grace Neoverse V2
统一内存128GB LPDDR5X784GB(288GB HBM3e + 496GB LPDDR5X)
FP4 算力1 PFLOPS20 PFLOPS
互联ConnectX(双机串联)ConnectX-8,800Gb/s
存储1TB 至 4TB NVMe高容量 NVMe
参考价格据公开报道 2,999 至 3,999 美元未公布(定位高出数倍)

统一内存是两台机器共同的灵魂:CPU 与 GPU 共享同一块内存池,数据免拷贝。Spark 的 128GB 让 200B 参数模型(4-bit 量化)可以在桌面推理,微调上限约 70B;Station 的 784GB 意味着训练或推理过去需要一整个机架集群才能容纳的模型。另一侧是明确的短板:Spark 内存带宽约 273GB/s(据公开报道),远低于任何数据中心 GPU,decode 速度是它最常被诟病的地方。

谁该买 Spark,谁该买 Station​

DGX Spark 适合:个人研究者与学生——在本地跑通从微调到 Agent 部署的全流程;Agent 开发者——7x24 小时常驻的本地 Agent 运行环境,数据不出门;边缘与机器人开发者——Isaac、Metropolis、Holoscan 框架的原生开发平台;企业 POC 团队——用两台串联跑 405B 量化模型做概念验证,再迁往云端。它的正确预期是"开发与原型",不是"生产服务"。

DGX Station 适合:需要桌面级保密的实验室——医疗、金融、国防场景下模型与数据全程本地;研究组——784GB 内存可在单机完成 70B 级全参数微调或更大模型的推理;Agent 集群测试——多台 Station 通过 800G ConnectX-8 组成小集群,模拟数据中心分布式行为。它填补的是"一台工作站装不下的模型,又不值得为此租机柜"的缝隙。

场景SparkStation
学习 AI 开发、跑开源模型适合过剩
200B 量化推理适合(速度受限)从容
70B 微调上限所在轻松
本地常驻 Agent适合适合
多机分布式实验双机串联上限800G 组网

软件与迁移路径​

两台机器预装 DGX OS 与完整的 NVIDIA AI 软件栈,包括 NIM 微服务与预训练模型。工作流的正确姿势是:本地原型、验证并行策略与量化方案,然后近乎原样迁移到 DGX Cloud 或数据中心集群——因为从 GB10 到 GB300 共享同一套 Grace Blackwell 软件栈,CUDA 代码与容器不需要重写。这套"从桌面到 AI 工厂"的连续性,才是英伟达做桌面产品的真正意图:培养下一代的开发者,让他们从第一行代码起就活在 NVIDIA 的生态里。

小结​

DGX Spark 是一台"会写代码的 Mac mini":3,999 美元买到 1 PFLOP 原型机,适合个人与 POC;DGX Station 是"桌面上的小型 AI 工厂":20 PFLOPS 与 784GB 内存服务保密场景与研究组。共同的前提是想清楚带宽与互联的物理极限——桌面设备的使命是缩短从想法到验证的距离,而不是替代数据中心。

出口管制下的供应链重构:2026 年的版图变化

· 阅读需 4 分钟
Industry Research Team

2026 年,美国对华 AI 芯片出口管制完成了从"推定拒绝"到"逐案审查"的历史性转向,同时附加关税、产能与安全三重枷锁。管制形态从"按芯片型号划线"演变为"按买家总部划线",全球算力供应链随之重新绘制版图。

一年之内:政策的密集摇摆​

时间事件影响
2025 年 4 月H20 出口需申请许可英伟达计提 45 亿美元相关损失
2025 年 5 月AI 扩散规则被暂停全球分级许可框架搁置
2026 年 1 月H200 转为逐案审查TPP 低于 21000 且 DRAM 带宽低于 6500GB/s 的芯片可申请许可
2026 年 1 月同步加征 25% 关税相关芯片出口附带"收入分成"
2026 年 5 月D:5 总部指南生效管制对象从产品延伸到买家总部所在地
2026 年 8 月英伟达财报指引不假设任何来自中国的数据中心计算收入

新规则并非简单放松:对华出口总量受"不超过同期对美供应总 TPP 一半"的产能配额约束,每批产品须经美国第三方实验室检测验证,云端用途还需提交远程终端用户清单。英伟达甚至修改付款条款,要求中国客户全款预付,把政策风险完全转嫁给买方。

中国市场的受控交织​

尽管约束重重,需求依然旺盛。据公开报道,中国企业累计订购的 H200 级别芯片超过 200 万颗,字节跳动单年度采购金额据报高达 140 亿美元。作为对价,中国工信部引入"配对"要求:企业每进口一定数量海外芯片,须按比例配套采购以昇腾为主的国产处理器,形成"国产芯片承担推理与通用负载、海外芯片保留高价值训练"的混合算力部署模式。中美监管的双重合规压力,成为跨国采购团队的新常态。

与此同时,管制反向催化了国产替代的加速。据公开报道,华为 AI 芯片年收入正逼近 120 亿美元;BIS 甚至发布指南,提示昇腾 910B、910C 等芯片在全球范围内的交易也可能触发美方许可要求——管制的长臂正从硬件延伸到远程算力访问。2025 年 11 月出台、2026 年 11 月到期的"关联规则"暂停令,则让实体清单的覆盖范围悬而未决,进一步放大了政策的不确定性。

供应链的连锁反应​

合规物流让每颗输华芯片先赴美国检测再出口亚洲,交期延长、成本上升。更深层的挤压在制造端:H200 与 Blackwell 共享台积电 CoWoS 先进封装产能,对华订单直接排挤更高毛利产品的排产。英伟达已锁定台积电 2026 年约六成先进封装产能,其余厂商只能在剩余份额中竞争。2026 年 5 月,黄仁勋向媒体表示英伟达"基本已让出中国 AI 芯片市场"——对芯片巨头而言,中国市场的财务贡献正在从增长项退化为风险项。

结语:版图的三条断层线​

2026 年的供应链版图上,三条断层线已然清晰:美国以"逐案审查加关税"维持受控开放;中国以"配对采购加国产放量"构建双轨算力体系;其余国家则在两种体系之间摇摆观望。管制已经无法阻止算力需求的增长,只能改变算力的地理分布与成本结构。对行业观察者而言,比门槛数字更值得跟踪的,是每一次政策摇摆背后,供应链各方重新谈判的定价权。

GB200 NVL72 架构拆解:72 卡为何是一个"GPU"

· 阅读需 4 分钟
Industry Research Team

黄仁勋在发布时说,GB200 NVL72 是一台"大 GPU"。这不是营销修辞:72 颗 Blackwell GPU 通过九层 NVSwitch 连成单一 NVLink 域,任何两卡之间的通信都不必经过机柜外网络。理解这台机器,关键在理解它如何消灭"节点边界"。

机柜解剖:18 个计算托盘、9 个交换托盘​

GB200 NVL72 的基本单元是 GB200 超级芯片:一颗 72 核 Grace CPU(Arm Neoverse V2)通过 NVLink-C2C 以 900GB/s 的缓存一致性互联挂载两颗 B200 GPU。18 个 1U 计算托盘各装两颗超级芯片,合计 36 颗 Grace 与 72 颗 B200;机柜中部竖插 9 个 NVSwitch 托盘,用约 3 公里长的铜缆把所有 GPU 织成一张完整无阻塞的 NVLink 5.0 交换网。

指标GB200 NVL72 单机柜
GPU/CPU72 颗 B200 + 36 颗 Grace(72 核 Neoverse V2)
FP4 算力(稀疏)1.44 EFLOPS
FP8 算力(稀疏)约 720 PFLOPS
GPU 显存合计13.4TB HBM3e(每 GPU 192GB)
CPU 内存合计约 17TB LPDDR5X(每 Grace 480GB)
NVLink 总带宽130TB/s(每 GPU 1.8TB/s 双向)
机柜功耗约 120kW,强制液冷
机柜价格据公开报道约 200 万至 300 万美元

在上一代 HGX H100 体系里,8 卡节点内部靠 NVLink 互联,跨节点只能走 InfiniBand,带宽低一到两个数量级。任何需要 8 卡以上张量并行的任务,一旦集合通信溢出节点,单卡有效带宽会骤降一个数量级,通信时间反过来吞掉算力收益。

NVL72 的解法是把域直接扩大 9 倍:72 卡全对全互联后,万亿参数稠密模型或巨型 MoE 的张量并行、长上下文注意力的 KV Cache 共享,都可以在机柜内完成。配合 Grace 的缓存一致性设计,HBM 与 LPDDR5X 组成约 30TB 的统一可寻址内存池,CPU 与 GPU 之间无需显式拷贝。这就是"一个大 GPU"的实质:对并行策略而言,机柜边界消失了。

Grace CPU 的角色同样关键。它不是通用主机,而是专为 AI 服务器设计的 Arm 处理器:每颗 480GB LPDDR5X 提供约 4TB/s 的内存带宽,远高于 x86 服务器;数据预处理、token 化、KV Cache 管理这类原本消耗 GPU 时间的任务,被下放给 Grace,让 GPU 专注矩阵运算。

什么业务才配得上这 120kW​

NVL72 解决的是"单节点装不下"的问题,而不是所有问题。据公开报道,全机柜价格 200 万至 300 万美元,功耗约 120kW,整机 1.36 吨——标准数据中心大门都进不去,液冷改造按每兆瓦数百万美元计。

适合 NVL72不适合 NVL72
万亿参数稠密模型训练与推理70B 以下稠密模型(8 卡节点足够)
大规模 MoE 的全对全路由常规 200B 以下 MoE 微调
超长上下文、单域 KV Cache 共享标准企业级推理服务
前沿实验室的多机柜 AI 工厂预算敏感的租赁型业务

一个实用的判断门槛:当你的张量并行度或 KV Cache 体积明显超过 8 卡节点的物理上限时,NVL72 才开始产生不可替代的价值。多数企业负载(百亿到两三千亿参数)用 HGX B200 节点做扩展,每 token 成本反而更低。

小结​

GB200 NVL72 的本质是把"集群"压缩成"一台设备":用 130TB/s 的机柜内 NVLink、30TB 统一内存和 Grace 的算力卸载,消灭节点间通信这个老敌人。它是为万亿参数时代和 AI 工厂设计的基建产品——确认你的模型真的需要 72 卡一个域,再确认你的机房能承受 120kW 液冷,这两关都过了,它就是目前最强的单机柜答案。

GB300 Grace Blackwell Ultra 全解:从 20 PFLOPS 桌面超算到数据中心旗舰

· 阅读需 6 分钟
Industry Research Team

同一颗 GB300 Grace Blackwell Ultra 芯片,既能撑起 350 万美元级的数据中心机柜,也能塞进一台放在办公桌上的 DGX Station。2026 年 10 月微软活动上预览的 DGX Station for Windows,让这个"双面故事"变得更加完整。本文依据站内芯片数据库,梳理 GB300 在 Blackwell 家族中的定位、桌面与数据中心的产品分层,以及 WSL 桥接对 Windows 企业市场的意义。

GB300 在 Blackwell 家族中的定位​

GB300 是 NVIDIA 第三代 Grace Blackwell 超级芯片,2025 H2 发布。其代际演进脉络清晰:

指标GH200 (2023-Q3)GB200 (2024-Q4)GB300 (2025 H2)
GPUH100B200B300 Ultra
CPUGrace 72 核Grace 72 核Grace 72 核
GPU 内存96GB HBM3192GB HBM3e288GB HBM3e
GPU 带宽3.35 TB/s8 TB/s10 TB/s
NVLink 域内60 TB/s130 TB/s130 TB/s
网络ConnectX-7 400GConnectX-8 800GConnectX-9 1.6T
FP4 sparse(单 GPU)N/A(FP8 2 PF)10 PF15 PF
TDP(GPU)1000W1000W1400W

GB300 超级芯片 = 2 颗 B300 Ultra GPU + 1 颗 Arm Grace CPU(72 核 Neoverse V2),通过 900 GB/s 的 NV-HBI 高速接口配对。据站内芯片数据库,单 Superchip FP4 sparse 算力 30 PFLOPS、FP8 dense 7.5 PFLOPS、GPU 侧总显存 576GB HBM3e,Superchip 模块单价约 7-8 万美元。

B300 Ultra:288GB HBM3e 的推理特化​

B300 Ultra(Blackwell Ultra)是 Blackwell 的中期升级版本,2026 年 1 月正式出货。据站内芯片数据库:

  • 显存:288GB HBM3e(12-Hi 堆叠),相比 B200 的 192GB 提升 50%,可单卡加载 FP16 的 70B 模型并保留 100GB+ 给 KV Cache;
  • 算力:FP4 稀疏 30 PFLOPS、FP8 密集 7 PFLOPS,相比 B200 均提升约 56%;
  • 实测:DeepSeek-R1 Prefill 吞吐 22,476 TGS,相比 H200 提升 8 倍;短输出场景提升 20 倍。

需要说明的是,站内 b300-ultra 卡按单卡口径记录 FP4 稀疏 30 PFLOPS,而 gb300 卡的代际对比表按单 GPU 口径记 15 PFLOPS(Superchip 两颗合计 30 PFLOPS),两个数据源口径存在差异,读者引用时需注意区分。B300 的制程仍为台积电 4NP,升级重心放在显存容量与 FP4 精度上——这正是"中期升级"的典型特征:架构不动,围绕推理经济性做增量。

NVL72 机柜:数据中心旗舰形态​

36 颗 GB300 组成 NVL72 机柜(72 颗 B300 Ultra + 36 颗 Grace),据站内芯片数据库:

项目配置
HBM 总量20.7 TB HBM3e
LPDDR5X 总量34.6 TB
NVLink 5 域内130 TB/s 全互联
ConnectX-9 出口72× 1.6T = 115 Tb/s
FP4 sparse 总算力1.08 EFLOPS
机柜 TDP约 120kW(含冷却)
价格约 330 万美元/机柜

ConnectX-9 是这代机柜的隐性升级:单端口 1.6 Tb/s 相比 ConnectX-8 翻倍,延迟低于 0.5 微秒,支持 NVLink over IB 跨机柜互联。8 个机柜可组成 NVL576 域——576 颗 B300 Ultra 共享 130 TB/s 互联,是业界最大单一 NVLink 域,对万亿参数 LLM 训练至关重要。云端租用方面,行业口径(Nebius)B300 的租用价格约为 9.50 美元/GPU 小时,站内芯片数据库另记录 AWS 8 卡 B300 实例(p6-b200.48xlarge)单 GPU 小时价 11.70 美元,不同供应商价差明显。

在 token 成本维度,站内数据给出了关键洞察:B300 单价虽高,但以 Llama 70B 推理测算,FP4 量化下单 token 成本相比 H100 低约 61%——单价高不等于用得贵。

DGX Station:20 PFLOPS 的桌面超算​

2026 年 10 月的微软活动上,NVIDIA 预览了 DGX Station for Windows,核心配置:

  • 芯片:GB300 Grace Blackwell Ultra Desktop Superchip;
  • 一致性内存:748GB(252GB HBM3e + 496GB LPDDR5X);
  • 算力:最高 20 PFLOPS FP4;
  • 模型能力:可在本地运行约 1 万亿参数模型;
  • 软件:Linux 工具链经 WSL(Windows Subsystem for Linux)访问;
  • 上市:2026 Q4,ASUS、Dell、HP、Lenovo 推出整机。

产品分层:1 PFLOPS 与 20 PFLOPS 之间​

DGX Station 的出现补全了 NVIDIA 桌面产品线的断层。站内芯片数据库记录的 RTX Spark(RTX DGX Spark)定位约 1 PFLOPS 级 FP4 算力的紧凑桌面开发机,而基于 GB300 Desktop Superchip 的 DGX Station 直接把桌面算力抬到 20 PFLOPS——20 倍的分层差距,对应着完全不同的用户画像:

维度RTX SparkDGX Station (GB300)
算力约 1 PFLOPS FP4最高 20 PFLOPS FP4
内存统一紧凑内存748GB 一致性内存
目标场景个人开发、微调小型模型本地万亿参数推理、企业级开发
价格量级消费级/准专业级高端工作站

WSL 桥接:Windows 企业市场的钥匙​

DGX Station for Windows 最值得玩味的细节是"Linux 工具链经 WSL 访问"。CUDA 生态的主场在 Linux,此前企业若要在 Windows 环境做本地 AI 开发,往往需要双机或虚拟化方案。WSL 桥接意味着:

  1. 企业 IT 无需改变管理习惯:Windows 域、组策略、合规审计体系原样保留;
  2. 开发者无需迁移工作流:PyTorch、TensorRT-LLM 等工具链在 WSL 内原生运行;
  3. 数据不出本地:金融、医疗、政务等对数据合规敏感的行业,获得了一条"本地跑万亿参数模型"的合规路径。

这与 GB300 数据中心侧的统一内存设计一脉相承:Grace 上 480GB LPDDR5X 与 B300 上 288GB HBM3e 统一寻址,CPU 与 GPU 共享一致性内存池。桌面版把同样的架构哲学浓缩进一台工作站——数据搬运越少,推理经济性越好。

小结​

GB300 家族展示了 NVIDIA 的典型打法:一颗芯片,从数据中心机柜到桌面工作站全栈铺开。数据中心侧,B300 Ultra 用 288GB HBM3e 和 FP4 精度把推理 token 成本压到 H100 的四成以下;桌面侧,DGX Station 用 20 PFLOPS FP4 和 748GB 一致性内存把"本地大模型"从口号变成 Q4 可买的产品。而 Rubin R200 已在 H2 2026 接棒数据中心旗舰,GB300 的价值窗口正在收窄——但它建立的"统一内存 + 桌面到机柜分层"产品范式,将由 Vera Rubin 平台延续下去。

Groq LPU 并入 Rubin 平台:LPX 机架专攻智能体"最后一公里"解码

· 阅读需 6 分钟
Industry Research Team

在 Vera Rubin 平台的"七芯片堆栈"中,第七颗芯片的来路最为特殊——它不是 NVIDIA 自研的 GPU 或 CPU,而是被收购的 Groq 3 LPX。这颗专为智能体解码阶段设计的低延迟推理加速器,以 256 颗 LPU、128GB 聚合 SRAM、40 PB/s 带宽的机架形态,与 Vera Rubin NVL72 并列部署。NVIDIA 宣称其在万亿参数模型场景下每兆瓦吞吐较 Blackwell 高 35 倍。一家以通用 GPU 垄断市场的公司,为何要为"非 GPU"在自家参考架构中留下正式位置?

收购时间线:从投资到全资整合​

根据站内 NVIDIA Groq 3 LPX 芯片卡,整合过程分四步走:

事件时间详情
首次投资2025-12NVIDIA 向 Groq 投资 2.5 亿美元
全资收购2026-Q1NVIDIA 全资收购 Groq(约 200 亿美元)
产品整合2026 H2Groq 3 LPU 更名为 NVIDIA Groq 3 LPX
平台纳入2026 H2LPX 机架作为 Rubin GPU 的协同机架(companion rack)

2026 年 8 月的 Hot Chips 2026 上,NVIDIA 以《Think Fast: LPU Accelerator for Heterogeneous Compute》为题首次将 LPU 纳入自家参考架构的正式叙事。这在 NVIDIA 历史上极为罕见——过去三十年,NVIDIA 的架构故事里从未给"非 GPU"留下过席位。

LPX 机架规格:SRAM 的极致堆料​

站内卡与 Hot Chips 披露的规格汇总如下:

项目单 LPULPX 机架(256 颗)
片上 SRAM500 MB128 GB 聚合
SRAM 带宽150 TB/s40 PB/s
机架互联GroqSync 1 TB/s640 TB/s
机架算力—315 PFLOPS
TDP~300 W~80 kW
实测(Gemma 4 31B)—单用户 3,431 token/s

最刺眼的是那组带宽对比:40 PB/s 的片上 SRAM 聚合带宽约为单颗 H100 HBM 带宽(3.35 TB/s)的 5,000 倍。LPU 完全放弃 HBM——模型权重经 Weight Streaming 灌入超大 SRAM,所有解码计算在纳秒级延迟的片上内存中完成。Hot Chips 实测数据显示,Gemma 4 31B 单用户吞吐达 3,431 token/s;运行 DeepSeek V3 级别的万亿参数模型约需 5 个机架。架构层面还有一个工程细节:FPGA 桥接同步域与异步域,投机解码只替换 draft token,保证确定性低延迟不被破坏。

为什么智能体负载需要 LPX​

Agentic AI 的负载特征与聊天机器人截然不同。一个智能体执行任务时动辄发起上百次模型调用——规划、工具选择、结果校验层层嵌套,且调用之间存在串行依赖,前一步的解码不结束,后一步的请求就不会发出。这意味着:

  • decode 阶段是纯粹 memory-bound:每生成一个 token 都要完整读取一遍模型权重与 KV Cache,算力大量闲置,瓶颈在内存带宽与延迟;
  • 延迟是体验与成本的双重货币:单次调用多花 100ms,乘以链式调用的次数就是秒级的体验劣化与集群吞吐的坍缩。

NVIDIA 官方数据给出了量化的答案:LPX 机架 TTFT(首 token 延迟)小于 20ms、TPOT(单 token 延迟)小于 5ms,而 H100 分别约 200ms 与 30ms。对于每秒上千次调用的智能体场景,这不是"更快一点",而是"可用与不可用"的区别。

SRAM vs HBM:一场精确的架构取舍​

LPX 的 SRAM-only 路线并非全面超越,而是一次方向性取舍:

维度SRAM(LPX)HBM(GPU)
延迟纳秒级微秒级
带宽密度极高(40 PB/s/机架)高(TB/s 级/芯片)
容量小(单芯 500MB)大(单卡 141-288GB)
成本/位高相对低
适用负载decode、低延迟小模型prefill、训练、大容量模型

SRAM 容量小是硬伤——万亿参数模型必须靠 Weight Streaming 与多机架协同,5 个机架跑一个 DeepSeek V3 级模型的配置成本绝非小客户所能承受。但它换来了 HBM 永远给不了的确定性与带宽密度。这不是孰优孰劣的问题,而是两种负载物理特性驱动的必然分工。

异构分工新范式:GPU 管 prefill、LPU 管 decode​

LPX 与 Vera Rubin NVL72 并列部署(companion rack)的设计,确立了"训练用 GPU、prefill 用 GPU、decode 用 LPU"的异构分工范式:

  1. 训练:Rubin GPU,吃算力与互联扩展性;
  2. prefill(首 token 生成前的上下文处理):Rubin GPU,并行度极高,吃算力;
  3. decode(逐 token 生成):LPX 机架,串行依赖、memory-bound,吃带宽与延迟。

这就是"每 token 经济学"推导出的结论:prefill 吃算力,decode 吃带宽,用不同架构分别解决,总成本更低。NVIDIA 借此完成了从"一颗 GPU 卖所有场景"到"全场景算力矩阵"的进化——训练、通用推理、极致低延迟推理,一个平台全覆盖。

独立 LPU 市场的终结与同源逻辑​

NVIDIA 买下 Groq,另一个层面的影响同样深远:独立 LPU 市场事实上终结了。曾经 Groq 是"推理专用芯片挑战 NVIDIA"的旗帜,如今旗帜归入了对方阵营。市场上仍坚持独立路线的推理架构玩家,呈现出耐人寻味的同源逻辑:

  • d-Matrix:数字 SRAM 推理芯片,接受 NVIDIA 入股;
  • Cerebras:晶圆级 SRAM(44GB 片上),与 OpenAI 签署 100 亿美元电力协议;
  • LPX(Groq):SRAM-only LPU,已被 NVIDIA 收编。

三者殊途同归——都判断"内存贴近计算、SRAM 替代 HBM"是推理场景的最优解。区别只在商业化路径:被收购、被投资、硬刚。当架构共识已经形成,竞争的焦点就从"方向对不对"转向"谁能耗到最终局"。

小结​

Groq 3 LPX 并入 Rubin 平台,标记了智能体推理基础设施的范式转折:decode 阶段被正式承认为一种独立的负载类型,需要独立的架构来解决。LPX 机架用 256 颗 LPU、128GB SRAM、40 PB/s 带宽和 35 倍每兆瓦吞吐,把"最后一公里"的解码延迟压到了毫秒以下;而 companion rack 的部署形态则确立了 GPU 与 LPU 异构分工的新范式。对采购者,评估 AI 集群时需要开始区分 prefill 与 decode 的算力配置;对行业观察者,NVIDIA 吞下 Groq 之后,独立推理芯片阵营的每一步——d-Matrix 的选择、Cerebras 的坚持——都值得放在"SRAM 共识"的框架下重新审视。

三代同堂:H100、H200、B200 采购对比与代际提升

· 阅读需 4 分钟
Industry Research Team

2026 年的数据中心里,Hopper 一代与 Blackwell 一代正在同柜共存。买 H100 还是 H200,上不上 B200,不再只是"买新不买旧"的问题,而是一道涉及电价、液冷改造和 token 成本的核算题。

三张规格表:看清代际差异在哪​

从 H100 到 H200,提升几乎全部来自内存子系统;从 H200 到 B200,则是一次架构层面的全面换代:新 Tensor Core、双 Die 封装、FP4 精度、NVLink 带宽翻倍。三款芯片的关键规格如下(Tensor 数据均为稀疏口径,稠密值减半):

规格H100 SXMH200 SXMB200
架构HopperHopperBlackwell(双 Die)
显存80GB HBM3141GB HBM3e192GB HBM3e(软件可见约 180GB)
显存带宽3.35TB/s4.8TB/s8TB/s
BF16 Tensor1,979 TFLOPS1,979 TFLOPS约 2,250 TFLOPS
FP8 Tensor3,958 TFLOPS3,958 TFLOPS约 4,500 TFLOPS
FP4 Tensor不支持不支持约 20,000 TFLOPS
最大 TDP700W700W1,000W
NVLink900GB/s(第 4 代)900GB/s(第 4 代)1.8TB/s(第 5 代)

三点值得展开。第一,H100 与 H200 算力相同,H200 的收益完全由显存兑现:MLPerf 上 Llama 2 70B 推理吞吐接近 2 倍,训练实测提速通常在 1.1 至 1.4 倍之间,且越依赖大 batch、大上下文收益越明显。第二,B200 的 FP4 峰值是 Hopper 的约 5 倍,这是为推理时代设计的精度档位;跑传统 FP16/FP8 训练时,代际差距收窄到约 1.3 至 2.3 倍。第三,B200 的 1.8TB/s NVLink 与 1,000W 功耗,让它事实上被锁定在 HGX/DGX 的 SXM 体系里,几乎没有 PCIe 版本。

整机采购:价格与基础设施门槛​

据公开报道与市场行情,8 卡整机的大致采购区间如下:

整机(8 卡)参考价格区间供电与散热适配场景
HGX H10020 万至 30 万美元风冷为主训练微调通吃,生态最成熟
HGX H200约 26 万美元起风冷为主70B 级推理与训练,长上下文
HGX B20025 万至 40 万美元部分机型需要液冷或混合散热FP4 推理、大规模微调

基础设施是隐性成本。B200 整机功耗接近 10kW 级,对机柜供电密度提出要求;而更上层的 GB200 NVL72 则强制液冷,风冷机房改造动辄每兆瓦数百万美元。反过来,H100/H200 的风冷兼容性成为存量机房升级路径上最平滑的一步。云租赁价格也在同步下沉:H200 实例价格已明显低于发布初期,B200 实例则在各大云上快速铺开。

分场景采购建议​

大规模训练:优先 B200。NVLink 带宽翻倍直接影响张量并行与专家并行的通信效率,FP8 与 FP4 的混合精度路径也更完整。预算受限或机型紧张时,H200 训练 70B 级模型依然够用。

生产推理:这是 H200 的主场。单卡 141GB 装下 70B 模型免并行,每百万 token 成本往往低于 B200;除非你的业务跑在 FP4 量化模型或超长上下文上,B200 的算力溢价才会真正兑现。

微调与中小模型:H100 的性价比此时最高。模型装得进 80GB 时,H200 的多余显存帮不上忙,为带宽多付的钱买不到对应收益。

小结​

三代芯片的关系不是替换,而是分层:H100 是性价比与生态底座,H200 是推理性价比的甜点,B200 是 FP4 时代的算力上限。2026 年采购的正确姿势是先问三个问题——模型多大、机房能供多少电、预算按 token 还是按整机核算——答案自然会把你引向其中一张规格表。

微软 Fairwater:为 AI 重新发明的数据中心

· 阅读需 4 分钟
Industry Research Team

传统数据中心为百万种应用服务,Fairwater 只为一件事而生:把数十万颗 GPU 拧成一台跨越州界的巨型计算机。这代表微软对 AI 基础设施的全新定义。

两座站点,一座超级工厂​

Fairwater 系列首站位于威斯康星州芒特普莱森特,2025 年 9 月对外公布,初始投资 33 亿美元,后续微软又追加 40 亿美元,威斯康星总投入超过 70 亿美元。据微软官方信息,该园区占地 315 英亩,三座建筑屋顶面积合计约 120 万平方英尺,采用双层高密度架构;设备于 2026 年 4 月启动上线调试,首座设施于 2026 年 6 月 23 日宣布全面投运。第二座 Fairwater 站点位于佐治亚州亚特兰大,已于 2025 年 10 月率先运营。

真正的巧思在于联网。两座站点通过专用光纤 AI 广域网直连,构成微软首座跨州"AI 超级工厂":大型训练任务可拆分到两地协同执行,微软称此举可将部分训练周期从数月压缩到数周。威斯康星园区还规划了第二座设施,预计 2028 年建成,微软并计划在美国其他地区复制这一模式。

Fairwater 关键事实数据
威斯康星首站投运2026 年 6 月 23 日
亚特兰大站点投运2025 年 10 月
威斯康星园区规模315 英亩,约 120 万平方英尺
威斯康星投资初始 33 亿美元,总计超过 70 亿美元
加速器规模数十万颗英伟达 GB200 与 GB300
单机架 GPU 数量72 颗 Blackwell GPU(NVLink 域)

工程细节:密度、液冷与扁平网络​

Fairwater 与传统云数据中心的差异体现在三个维度。计算密度上,每个机架在单一 NVLink 域内封装 72 颗英伟达 Blackwell GPU,为当时云平台最高机架吞吐水平;散热上,园区采用设施级闭环液冷,冷却液初次灌注后循环使用,微软宣称该设计将数据中心对当地水资源的消耗降到极低水平;网络架构上,单一扁平的高速网络让数十万颗加速器可以像一台机器一样协同工作。

这种设计的本质是把云数据中心的"多租户、多应用"模型彻底翻转为"单一巨型任务"模型:传统机房同时运行数百万个互不相关的工作负载,而 Fairwater 让一个前沿模型训练任务横跨百万级硬件部件。微软将其纳入更宏大的 Azure AI 超级工厂架构,与早期 AI 超算及 Azure 全球算力池互连,目标是让每吉瓦电力产出最大数量的有效 AI token。公司提出的路线图是每 18 到 24 个月将 AI 训练能力提升 10 倍。

电力与竞争背景​

支撑这一切的底层约束是电力。据公开报道,微软已签署多项天然气发电协议(总规模接近 5 吉瓦),并通过建设太阳能电厂与预付电网费用锁定供电,以分散跨州选址带来的电力需求压力。竞争对手的动向同样激进:xAI 的 Colossus 2 已成为全球首个吉瓦级训练集群,Meta、谷歌、亚马逊均在以吉瓦为单位扩张。UBS 等机构追踪 Fairwater 部署节奏并将其纳入 Azure 增长预测,显示资本市场已把 AI 数据中心建设视为云厂商竞争的核心变量。

小结​

Fairwater 的意义超出了一座数据中心:它验证了"分布式超级工厂"这一全新基建形态——训练任务不再受限于单一园区的电力与空间,而是可以在数百英里外的站点间自由调度。当 AI 竞赛的胜负手从芯片数量转向电力、散热与互联的系统工程,微软用 Fairwater 给出了自己的答案模板。

NVIDIA 承诺最高1000亿美元投资 OpenAI:10GW 算力、非控股股权、首吉瓦 Rubin 交付

· 阅读需 5 分钟
Industry Research Team

NVIDIA 与 OpenAI 宣布达成一项足以改写 AI 基础设施格局的战略伙伴关系:NVIDIA 承诺最高1000亿美元投资,用于加速 OpenAI 下一代 AI 数据中心的建设与部署。这是目前 AI 行业规模最大的单一投资承诺之一。

英伟达财报里的数据中心:收入结构与客户集中度解读

· 阅读需 4 分钟
Industry Research Team

当一家公司的九成收入来自同一个业务板块,而这个板块里又有三分之一以上来自两三个客户,财报阅读的方式就必须变了:你读的不只是一家公司的业绩,而是一张全球AI算力供需的压力表。

收入几乎全部押注数据中心​

英伟达2026财年(截至2026年1月25日)交出的成绩单是:全年营收2159.4亿美元,同比增长65%;GAAP净利润1200.8亿美元。其中数据中心业务贡献1934.8亿美元,同比增长68%,占总营收约89.7%。也就是说,游戏、专业可视化、汽车等所有其他业务加起来,只占一成出头。

第四财季的拆分更能说明结构变化:数据中心收入623.1亿美元,同比增长75%;其中计算业务(主要是GPU与系统)513.3亿美元,同比增长58%;网络业务109.8亿美元,同比增长263%。网络收入的爆发式增长来自GB200与GB300系统配套的NVLink交换机以及Spectrum-X以太网平台的交付放量——这说明英伟达卖的已经不再是"一颗芯片",而是整机柜级别的系统,网络互连正在成为第二增长曲线。

财报指标数值同比变化
2026财年总营收2159.4亿美元增长65%
数据中心全年收入1934.8亿美元增长68%
Q4数据中心收入623.1亿美元增长75%
Q4计算业务513.3亿美元增长58%
Q4网络业务109.8亿美元增长263%
期末采购义务950亿美元一年前约160亿美元

客户集中度:36%的收入来自两个名字​

真正的看点在客户结构。根据英伟达10-K文件披露,2026财年有两位直接客户分别贡献了总营收的22%和14%,两家合计36%。此前三季报披露的口径更细:2026财年第三季度,四家直接客户分别占22%、15%、13%和11%。同时,第四财季全球前五大云服务商和超大规模企业合计贡献了数据中心业务50%以上的收入。

这些匿名客户几乎可以确定是大型云厂商与系统集成商。对英伟达而言,这意味着收入基础并没有随着规模扩大而分散,反而在加速集中;对投资者而言,任何一家头部云厂商调整资本开支节奏,都会被放大传导到英伟达的收入表上。此外英伟达自己也在10-K中提示,部分间接最终客户的采购规模可能达到总营收的10%以上——集中度是双向的。

主权AI与采购义务:两个被低估的信号​

除了云大厂,2026财年主权AI业务贡献了超过300亿美元收入,采购方主要分布在加拿大、法国、荷兰、新加坡和英国。这为高度集中的客户结构提供了一定的对冲,但也意味着这块收入与政府预算周期高度绑定。

更值得关注的是资产负债表:期末"采购义务"(向台积电等供应商支付的不可取消采购合同)飙升至950亿美元,而一年前只有约160亿美元。这是英伟达在用真金白银为未来几个季度的出货背书。管理层给出的2027财年第一财季指引为780亿美元,且明确不含中国市场收入的假设。

研判:集中度是价签,也是风险敞口​

英伟达的财报正在变成一个宏观指标:S&P 500中其权重一度达到7.58%(据2026年3月底的ETF披露口径),这意味着英伟达股价每波动30%,指数本身就会被拖动约2.3个百分点,而财报中的客户集中度又把云厂商资本开支与这根杠杆直接焊在一起。收入结构上,计算与网络的双轮驱动、主权AI与系统级出货的放量,都指向2027财年继续增长的确定性;但36%收入系于两个客户的事实提醒我们:这份财报的核心风险不是需求,而是需求方的单一性。读懂英伟达,本质上是读懂少数几家公司的资本开支意愿。