15 篇博文 含有标签「Benchmarks」

「ROCm 推理不如 CUDA」是过去两年的默认叙事。AMD 这篇技术博客不打算辩解，直接甩出了三个数字：1100、1470、3.3 倍。

三项技术的组合拳​

针对单请求解码（延迟敏感、吞吐不重要的高交互场景），AMD 在 Instinct MI355X 上组合了三项优化：

1. Megakernel（持久内核）

• 单个持久内核覆盖整个前向传播（Qwen3.8-27B、GPT-OSS-120B 验证），消除逐算子 launch 开销
• 用 FlyDSL（Python DSL，编译到 AMD GPU 代码）与 HIP C++ 编写——注意 FlyDSL 与 DeepSeek 昇腾版 TileLang 的路线同构，社区 DSL 正在成为非 CUDA 平台的共同选择

2. 投机解码（Speculative Decoding）

• Qwen3.8-27B 搭配 EAGLE3/DFlash2 起草模型，batch 1、GSM8K 实测约 1,100 tokens/s
• GPU graph capture 消除 CPU round-trip

3. MXFP4 量化

• Qwen3.8-Flash-Next + 完整 262K token KV cache 装进单颗 die，较基线约 3.3 倍加速

双 die 架构红利：数据放置即性能​

MI355X 的两颗 die（DPX+NPS2 拓扑）本身就是优化空间：

• GPT-OSS-120B 实测 约 1,470 tokens/s
• 仅靠数据放置优化（data locality）就拿到 7.5–8% 的解码提升
• 分阶段 profiling：Q/K/V 交接快 25%、专家路由快 17%

这类「拓扑感知放置」的收益在双 die GPU（MI355X、Rubin）上会越来越重要——芯片拓扑从实现细节变成了编译器与调度层的优化输入。

与竞品的横向定位​

• 场景限定：1.9–3.3 倍是单请求 decode 提速——高交互智能体、实时对话等 batch 1 场景；大 batch 吞吐场景另算
• 参照系：此前 SemiAnalysis AgentX 测试中，GB300 NVL72 在低交互区间仍保持领先（详见 CUDA 护城河一文）；AMD 的强项在高交互区间的性价比
• 生态接入：成果已可通过 ATOM、SGLang、vLLM 使用（GPT-OSS-120B 为 vLLM 预览）

结论​

这篇博客的真正信号不是某个倍数，而是方法论的收敛：megakernel、投机解码、社区 DSL、拓扑感知放置——AMD 的优化清单与华为 TileLang、谷歌 TorchTPU 高度趋同。非 CUDA 阵营已经形成了一套可复制的「推理栈追赶剧本」，剩下的变量只是执行深度。对买家，MI355X 在高交互推理场景已值得进入选型池；对开发者，FlyDSL/TileLang 这类 Python DSL 的学习投入开始有了跨平台的复利。

数据来源与口径说明​

• 全部性能数字：AMD ROCm 官方技术博客（2026-10-20 至 23 发布周期），AMD News Daily 摘要转述
• 1100/1470 tokens/s 为 batch 1 特定模型配置，不外推至其他负载
• FlyDSL 为 AMD 的 Python DSL 工具，与 TileLang 的类比来自 SemiAnalysis 对两者的并列表述

长期以来，质疑国产 AI 芯片的理由从来不是算力峰值，而是「软件栈到底能不能打」。SemiAnalysis 这份报告的价值在于：第一次用系统性的第三方测试回答了这个问题——答案是能，而且比想象中好。

报告核心数据​

SemiAnalysis 在《The Huawei-DeepSeek Symbiosis》中对昇腾 950PR 给出独立评估：

• GEMM 利用率 99.7%——在华为自研内核下。作为对照，这个数字意味着矩阵运算单元几乎不再有闲置周期，是内核工程成熟度的直接体现
• 绝对 GEMM 性能「介于 A100 与 MI300X 之间」——考虑 950PR 是一张推理定位卡，这个位置符合预期
• 小消息规格下 HBM 带宽与 H100 具竞争力——大消息规格下仍有差距，但推理负载的关键路径（小 batch、高并发）恰好落在有利区间

DeepSeek 的软件贡献：五个开源组件​

共生关系的另一半是 DeepSeek 的软件开源——已发布昇腾支持的组件清单：

组件	功能	昇腾适配
TileLang	昇腾原生内核 DSL	部分形状上可匹敌/超越 CANN——直接对标 AMD 的 FlyDSL 路线
DeepGEMM	GEMM 内核库	昇腾版已可用
DeepEP	MoE dispatch/combine 通信	经 URMA 移植 EP 通信，对标 ROCm 集合通信工作
FlashMLA	MLA 注意力内核	昇腾支持
DeepSelect	专家路由选择	昇腾支持

这套组合的意义在于软件栈的去 CANN 化：当 TileLang 这样的社区 DSL 能在部分形状上打赢厂商官方栈，说明昇腾的内核开发门槛已经低到社区可以参与——这正是 CUDA 生态当年起飞的路径。

战略判断：1-2 年的窗口​

SemiAnalysis 给出的结论相当大胆：中国本土 AI 软件生态的成熟速度，可能在 1-2 年内把 AMD/NVIDIA 挤出中国云部署。

支撑证据链：

1. 硬件侧：950PR 单卡性能达到可用区间（A100–MI300X 之间），超节点弥补集群规模
2. 软件侧：99.7% GEMM 利用率 + DeepSeek 五组件证明工具链可用
3. 需求侧：出口管制让英伟达中国数据中心收入占比不足 1%，采购转向是被动但确定的
4. 标杆案例：智谱 GLM-5.3-Flash 全部线上流量已由超过 10 万张国产芯片集群承载，其 Infra Agent 两周内把端到端吞吐提升到基线的约 3 倍

需要标注的边界​

• 99.7% 利用率基于华为自研内核——华为自己写的内核跑自己的测试形状，与第三方负载下的表现是两回事；SemiAnalysis 亦仅给出了部分形状的评估
• 「1-2 年替换」是分析机构判断，且主要指推理云部署；训练侧对互联与稳定性的要求更高，替换节奏会慢得多
• 产能约束未解除：950PR 全年产能规划约 75 万颗，DeepSeek 内蒙古 16 万张 950DT 的规划（彭博社 9 月报道，未获双方完整确认）本身就会挤占其他客户的配额

结论​

对采购方，这份报告的实际意义是给「国产替代」提供了第一个有分量的第三方技术背书：选型评估中可以把昇腾推理栈从「观望」上调为「可测」。对行业观察者，TileLang vs CANN 的社区生态演化值得持续跟踪——软件栈的护城河从来不是官方文档写的，是社区代码堆出来的。

数据来源与口径说明​

• 99.7% GEMM 利用率、A100–MI300X 区间、五组件清单、1-2 年判断：SemiAnalysis《The Huawei-DeepSeek Symbiosis》（2026-10），AMD News Daily 摘要转述
• 智谱 10 万张集群与 Infra Agent 3 倍吞吐：唐杰 2026-09-17 披露，官方口径
• DeepSeek 内蒙古 16 万张 950DT：彭博社 2026-09 报道，未获双方完整公开确认
• 950PR 产能规划：产业链口径，非华为官方披露

推理侧的性价比之争已经打了两年，现在战场挪到了训练侧——这里检验的不是单点峰值，而是「任意模型、任意形状、任意分布式策略都能稳定跑」的 generality。两份 SemiAnalysis 报告给出了最新的记分牌。

Trainium3 的记分牌​

SemiAnalysis《Amazon's Trainium Takes a Strike at the Training King》给出实测：

• TorchTitan 训练 Qwen3-32B：MFU 30.47%（编译模式）——模型算力利用率是训练效率的硬指标，30%+ 属于可用区间
• FlexAttention 96 项测试通过 89 项（93%）——PyTorch 新特性在非 CUDA 平台的适配覆盖率
• TorchNeuron 支持原生 PyTorch eager 模式、torch.compile 与标准分布式 API——与 CUDA/ROCm 的人体工学差距基本抹平
• 8 万物理 CI 核用于自动化质量保障——硬件厂商 CI 投入的新高，SemiAnalysis 直接以此为行业标准定锚
• 中尺寸 MatMul 形状上 Trainium3 表现优于 GB300
• 分析工具 Neuron Explorer 被评为优于 AMD 的 profiler

AMD 的记分牌​

同系列报告披露了 AMD 的追赶代价与成果：

• vLLM gating 测试组达到 93% parity——SemiAnalysis 明确指出，这是与 AMD 高层缠斗 9 个月的产物，说明这个数字不是自然演进而是倒逼结果
• ROCm 的 profiler 被 trainium 对比评为落后——AMD 工具链投资需求被点名
• 单请求推理侧的优化见我们的MI355X megakernel 专文

为什么 generality 是新战场​

训练栈的竞争分三个阶段：

阶段	标准	现状
能跑	单模型单配置跑通	2024 年已解决
跑得快	峰值 MFU、特定模型调优	2025–2026 主战场
什么都能跑	任意模型的 generality	2026–2027 的胜负手

FlexAttention 93% vs 96 项测试的差距，正是 generality 问题的缩影：非 CUDA 平台面对 PyTorch 的快速演进，每个新特性都是一次全量适配工程。AWS 的应对是砸 CI——8 万核的自动化回归测试把「新 PyTorch 版本发布到 Trainium 可用」的周期压到行业最快。

对采购方的含义​

• 训练负载选型看 MFU 而非峰值算力：Trainium3 的 2.52 PFLOPS FP8 与 GB300 的纸面差距，在 30.47% MFU 的实际利用率下要重新折算
• CI 覆盖率是新的尽调指标：问供应商两个问题——FlexAttention/最新 PyTorch 特性的测试通过率是多少？新框架版本到平台可用的滞后是多少天？
• Neuron 栈的人体工学已不是障碍：eager 模式 + torch.compile 原生支持意味着迁移成本集中在数据并行策略与超参重调，而非代码重写

结论​

训练栈之战的有趣之处在于：AWS 用 CI 军备证明了「平台质量」可以被工程投入买出来，而 AMD 的 93% parity 证明了「生态差距」可以被组织压力追平。剩下的问题是代价——8 万核 CI 与 9 个月缠斗都是真金白银，这笔投入的回报取决于 2027 年 Trainium3 的 5GW 级订单能否兑现。

数据来源与口径说明​

• MFU 30.47%、FlexAttention 93%、8 万 CI 核、中尺寸 MatMul 优于 GB300、Neuron Explorer 评价：SemiAnalysis 报告，AMD News Daily 摘要转述（2026-10-24）
• AMD 9 个月缠斗与 93% parity：SemiAnalysis 口径
• MFU 数据为特定模型（Qwen3-32B）特定配置结果，不可外推至所有负载

推理时代的核心 KPI 只有一个：每百万 Token 的总成本。2026 年 10 月，公开可查的最低纪录是 2.01 美分——TPU v7 配合 vLLM-TorchTPU 栈在 SemiAnalysis InferenceX 8K/1K 测试上交出的成绩，较 9 月的 3.6 美分下降 44%。

一、推理成本的三块构成​

推理成本不是算力一项，而是三块的和：

成本项	占比趋势	决定因素
算力（计算）	解码阶段占比低	FP8/FP4 量化效率、批处理调度
内存带宽	解码阶段主导	HBM 容量与带宽、KV Cache 管理
存储/网络	随上下文变长上升	企业级 SSD、向量库、机间互联

关键认知：自回归解码是访存受限而非算力受限的工作负载——Token 生成速度的上限是「把权重和 KV Cache 从内存搬进计算单元的速度」。这解释了为什么 18 TB/s 的 Maia 300、19.2 TB/s 的 Rubin R200 这样的带宽数字，比峰值算力更值得看。

二、降价的四个引擎​

1. 低精度量化：FP8 → FP4 每一步都直接砍 KV Cache 与权重搬运量；专用矩阵单元（Maia 300 的 FP4 13.8 PFLOPS）把量化开销压到最低
2. 软件栈效率：vLLM 的 continuous batching、SGLang 的 RadixAttention、MLA 类低秩注意力——同一块硬件，软件代差可以拉开 2 倍以上成本差
3. ASIC 专用化：砍掉 FP64 与图形逻辑的推理芯片，把晶圆面积全部留给访存与低精度矩阵——OpenAI 的第一颗自研芯片就是这么设计的
4. 规模与利用率：超节点与机柜化把集群有效利用率从 30-40% 提到 60%+，摊薄固定成本

三、基准数字的正确用法​

SemiAnalysis InferenceX/InferenceMAX 的价值在于提供了一个横向可比的口径，但使用时要注意三点：

• 数字是开发者自报的（谷歌引用），跨厂商对比时要确认相同模型、相同精度、相同上下文配置
• 2.01 美分是 8K/1K 特定配置，长上下文场景成本结构完全不同
• 单价 ≠ TCO：还要叠加机时利用率、预留容量、故障率

四、给选型者的清单​

1. 把「每百万 Token 成本」写进采购 RFP，要求厂商按 SemiAnalysis 同款配置报数
2. 分别测算 Prefill 与 Decode 的成本结构——昇腾 950 的 PR/DT 双版本正是把这两段拆开优化的产物
3. 关注软件栈路线图：同一硬件半年后降价 44% 的案例说明，软件是推理时代最大的免费算力
4. 用 TCO 计算器把芯片价、功耗、PUE、利用率折现到统一口径

延伸阅读：TorchTPU 开源 · 存储超级周期 · 完整对比表

2026 年是 AI 加速芯片竞争分水岭式的一年。一边是 NVIDIA 用 Blackwell 产能与 Rubin 首发把「训练算力」的标尺再抬高一截，另一边是中国本土供应链在出口管制常态化下，把「可用」加速推向「好用」——昇腾 960 超节点、寒武纪思元 690、摩尔线程 MTT S5000、阿里真武 V900 等产品密集落地。本文用同一把尺子，把国产与国际主力芯片放到一张桌子上对比。

一、为什么说 2026 是分水岭​

• 出口管制进入稳态：美国对高端训练卡的禁运已不是新闻，而是采购决策的默认前提。国产芯片的「替代」叙事从口号转为规模部署。
• 国产份额跨越临界点：据 Counterpoint 口径，中国 AI 芯片市场国产化率从 2022 年近乎为零，升至 2025 年的约 41%，其中昇腾占国产份额约 62%。这意味着「国产 vs 国际」不再是技术爱好者话题，而是采购刚需。
• 代际差距收窄但仍在：纸面算力上，旗舰国产卡（昇腾 910C 128GB、思元 690 196GB）在显存容量上已不输同代国际卡；但在单卡稠密算力、软件生态与集群扩展效率上，仍有一代左右的差距。

本文对比维度固定为五类可比指标：算力（FP16 稀疏口径，与站内科普一致）、显存容量与带宽、功耗与能效、制程、价格。所有数字取自本站已校验芯片数据库（252 款）与价格库（报价截至 2026-10），官方未公开的一律标注「未公布」，不作推测填充。

二、国产 AI 芯片进展​

2.1 华为昇腾：从 910C 到 960 的三级跳​

型号	架构	制程	显存	显存带宽	FP16（稀疏）	TDP	状态
昇腾 910B	Da Vinci	TSMC 7nm+（含 SMIC 国产化）	64GB HBM2e	600 GB/s	320 TFLOPS	310W	量产中
昇腾 910C	Da Vinci（双 die）	中芯国际 7nm N+2	128GB HBM2e	3.2 TB/s	800 TFLOPS	600W	规模部署
昇腾 950PR	Da Vinci v5	中芯 N+3（等效 5nm 级）	128GB HiBL 1.0	未公布	486 TFLOPS	600W	已上市
昇腾 950DT	Da Vinci v5	中芯 N+2	144GB	4 TB/s	547 TFLOPS	500W	2026 Q4 量产
昇腾 960DT	全新 SIMD/SIMT	未公布	288GB	9.6 TB/s	未公布	未公布	2027 Q1
昇腾 960PR	全新 SIMD/SIMT	未公布	192GB	2.4 TB/s	未公布	未公布	2027 Q3

昇腾 910C 是当前国产训练主力，CloudMatrix 384 超节点已用于 DeepSeek 等大模型训练验证。950 系列在 2026 年 HC 大会官宣：950PR 渠道报价已超 ¥8 万（年初约 ¥6 万），950DT 超 ¥25 万（较 7 月上涨 20%~50%），HBM 供给挤压是涨价主因。960 超节点公布 NPO Hi-ONE 引擎、4096 卡规模与 99.8% 可用度目标，其中 960DT 主攻训练（FP4 4 PFLOPS）、960PR 主攻推理（FP4 8 PFLOPS），是 2027 年的旗舰预期。

2.2 寒武纪思元 690：纸面规格天花板​

思元 690 采用双 die Chiplet 设计与 MLUarch 4.0 架构，中芯国际 N+2 制程、196GB HBM3、3.35 TB/s 带宽、FP16 700 TFLOPS、TDP 500W。其显存容量与带宽已对齐 H100 SXM 级别，是国产卡中少数在纸面规格上逼近国际旗舰的产品。2026 年 9 月受 HBM 供给挤压，官方指导价 ¥19 万、市场均价约 ¥17.5 万，较两月前上调 20%~30%，客户含字节、阿里、百度。

2.3 其他国产厂商​

厂商 / 型号	架构	制程	显存	FP16（稀疏）	TDP	备注
天数智芯 天垓 300	SIMT 通用计算	7nm	144GB HBM3E	超 1,000 TFLOPS	600W	2026-07 WAIC 发布，对标 Hopper
天数智芯 天垓 150	ivcore11	TSMC 7nm	64GB HBM2e	192 TFLOPS	350W	通用 GPU，兼容 CUDA 生态
燧原 云燧 T21	GCU-CARA 2.0	格罗方德 12nm	64GB HBM2E	134.4 TFLOPS	未公布	邃思 2.0，训推一体
百度 昆仑芯 R200	XPU-R	7nm	16/32GB GDDR6	128 TFLOPS	150W	低功耗推理向
摩尔线程 MTT S5000	MUSA 4（平湖）	TSMC 6nm	80GB	400 TFLOPS（BF16）	500W	全功能 GPU，渠道价 ¥7.5 万
阿里 真武 V900	平头哥 PPU	未公布	216GB	未公布	未公布	2026-09 云栖发布，2027 Q1 量产

注：燧原 T21 的 TDP 官方未公布，本站不作推测；摩尔线程、燧原等卡的 FP8/FP4 精度多数官方未单列，表中以 BF16/FP16 口径统一呈现。天数智芯「智铠」系列未见公开采购确认，暂未纳入主表。

三、国际 AI 芯片进展​

3.1 NVIDIA：Blackwell 量产 + Rubin 首发​

型号	架构	制程	显存	带宽	FP16（稀疏）	TDP	状态
H100 SXM	Hopper	TSMC 4N	80GB HBM3	3.35 TB/s	1,979 TFLOPS	700W	上代主力
H200 SXM	Hopper（refresh）	TSMC 4N	141GB HBM3e	4.8 TB/s	1,979 TFLOPS	700W	大显存主力
B200	Blackwell（双 die）	TSMC 4NP	192GB HBM3e	8 TB/s	5 PFLOPS	1000W	2025 起量产
GB300	Grace Blackwell Ultra	TSMC 4NP	576GB HBM3e（超节点口径）	16 TB/s	10 PFLOPS（双芯）	3000W	超节点主力
Rubin R200	Rubin	台积电 3nm	288GB HBM4	19.2 TB/s	4 PFLOPS	1800W	2026 H2 已规模出货

NVIDIA 在 2026 年的核心叙事是交付：Vera Rubin NVL72 下半年持续放量，MLPerf Inference v6.1 首秀（Qwen3-VL 较 GB300 最高 3.7 倍）。Rubin R200 官方 FP4 达 50 PFLOPS（稀疏），是本代出货主力；N1X PC 处理器秋季上市，把战场延伸到消费级。

3.2 AMD：MI300X/MI325X 守基本盘，MI455X 冲机架​

MI300X（192GB HBM3 / 5.3 TB/s / 1,307 TFLOPS）与 MI325X（256GB HBM3e / 6.48 TB/s）提供高显存性价比；真正的增量在 Helios 机架（72× MI455X，432GB HBM4 每卡、23.3 TB/s、FP4 40.3 PFLOPS、计算芯粒 TSMC 2nm），绑定 OpenAI 6GW、Meta 6GW 部署。MI450 为其母型号，量产节点排在 2027 年 Q2。

3.3 Intel 与 Google​

• Intel Gaudi 3：TSMC 5nm、128GB HBM2e、3.67 TB/s、BF16 矩阵算力 1,835 TFLOPS、TDP 900W，24× 200GbE RDMA 集成网卡，以太网组网直接对标 NVL72。Gaudi 3 之后 Intel 路线转向 Crescent Island（推理）与 Jaguar Shores（2027），Falcon Shores 已取消。
• Google TPU v6（Trillium）：v6e（32GB / 918 TFLOPS / 200W）与 v6p（96GB HBM2 / 1,350 TFLOPS / 450W）同代，TSMC 5nm，仅通过 Google Cloud 按小时计费。第七代 Ironwood 已把 HBM 容量推到 192GB、带宽 7.38 TB/s。

3.4 其他赛道​

Cerebras 已于 2026-08 发布机架级 CS-4（3× WSE-3 Turbo，750 PFLOPS），需要注意的是 CS-4 并未采用新一代晶圆，硅片与 CS-3 完全相同；SambaNova SN40L 以三层内存架构服务稀疏场景；Graphcore 已被 SoftBank 收购并退出中国市场。

四、关键指标对比（核心）​

方法学：FP16 统一采用稀疏（sparse）口径，与站内科普及首页热门芯片一致；价格为 pricing.json 市场报价（国际 USD、国产 CNY，截至 2026-10）；「未公布」表示官方未披露、本站不作推测填充。

4.1 算力对比（FP16 稀疏）​

芯片	FP16（稀疏）	FP8 / FP4 备注	架构
国产
天垓 300	超 1,000 TFLOPS	支持 FP4 / FP8	SIMT
昇腾 910C	800 TFLOPS	FP8 1.5 PFLOPS	Da Vinci 双 die
思元 690	700 TFLOPS	FP8 约 1.4 PFLOPS	MLUarch 4.0
昇腾 950DT	547 TFLOPS	FP4 2 PFLOPS	Da Vinci v5
摩尔线程 MTT S5000	400 TFLOPS（BF16）	FP8 约 1 PFLOPS 稠密	MUSA 4
天垓 150	192 TFLOPS	384 TOPS INT8	ivcore11
云燧 T21	134.4 TFLOPS	未公布	GCU-CARA 2.0
昆仑芯 R200	128 TFLOPS	256 TOPS INT8	XPU-R
国际
GB300（双芯）	10 PFLOPS	FP4 40 PFLOPS	Grace Blackwell Ultra
MI455X	10.1 PFLOPS	FP4 40.3 PFLOPS	CDNA 5
B200	5 PFLOPS	FP4 20 PFLOPS	Blackwell
Rubin R200	4 PFLOPS	FP4 50 PFLOPS	Rubin
Gaudi 3	1,835 TFLOPS（BF16 矩阵）	FP8 1,835 TFLOPS	Gaudi 3
H100 SXM	1,979 TFLOPS	FP8 3,958 TFLOPS	Hopper
H200 SXM	1,979 TFLOPS	FP8 3,958 TFLOPS	Hopper
TPU v6p	1,350 TFLOPS	FP8 2,700 TFLOPS	TPU v6
MI300X	1,307 TFLOPS	未单列	CDNA 3
MI325X	1,307 TFLOPS	未单列	CDNA 3

读图：单卡 FP16 上，B200/GB300 把国产旗舰甩开约 5~6 倍；但昇腾 910C（800）已接近 H100 的 40%，思元 690（700）紧随，天垓 300（超 1,000）已进入国际旗舰区间。差距从「数量级」收敛到「一代」。

4.2 显存与带宽对比​

芯片	显存	类型	带宽
昇腾 960DT	288GB	HBM	9.6 TB/s
MI325X	256GB	HBM3e	6.48 TB/s
阿里真武 V900	216GB	未公布	未公布
思元 690	196GB	HBM3	3.35 TB/s
B200	192GB	HBM3e	8 TB/s
MI300X	192GB	HBM3	5.3 TB/s
H200	141GB	HBM3e	4.8 TB/s
H100	80GB	HBM3	3.35 TB/s

读图：国产旗舰在显存容量上已经反超——思元 690 的 196GB、昇腾 960DT 的 288GB、真武 V900 的 216GB 都高于 H100/H200。但带宽上，只有昇腾 960DT（9.6 TB/s）与 B200（8 TB/s）进入同一梯队，HBM3e/HBM4 代差是关键。

4.3 功耗与能效对比​

芯片	TDP	FP16/W（稀疏能效）
昇腾 910C	600W	1.33 TFLOPS/W
思元 690	500W	1.40 TFLOPS/W
天垓 150	350W	0.55 TFLOPS/W
H100	700W	2.83 TFLOPS/W
B200	1000W	5.0 TFLOPS/W
MI300X	750W	1.74 TFLOPS/W
TPU v6e	200W	4.59 TFLOPS/W

读图：能效是国产最明显的短板。H100 的 2.83 TFLOPS/W 约为昇腾 910C 的 2.1 倍，B200 更是 3.8 倍。低功耗端 TPU v6e（200W / 4.59）与昆仑芯 R200（150W）代表「每瓦算力」的另一条路线。

4.4 制程对比​

厂商	代表芯片	制程	晶体管
华为	910C	中芯 7nm N+2	未公布
寒武纪	思元 690	中芯 N+2（5nm 级）	未公布
NVIDIA	H100 / B200	TSMC 4N / 4NP	800 亿 / 2080 亿
AMD	MI300X	TSMC 5+6nm 混合	1530 亿
AMD	MI455X	TSMC 2nm（计算芯粒）+ 3nm	未公布

读图：制程代差是结构性差距的根源。国产主力仍停留在 7nm 级，而国际旗舰已进入 2nm 计算芯粒时代。这是单卡算力差距的物理下限。

4.5 价格对比（市场报价，2026-10）​

芯片	价格	币种	口径
H100	$28,000	USD	市场均价
H200	$38,000	USD	市场均价
B200	$42,000	USD	市场均价
GB200	$62,000	USD	市场均价
MI300X	$13,500	USD	市场均价
MI325X	$16,500	USD	市场均价
Gaudi 3	$16,500	USD	市场均价
TPU v6e	$22,000	USD	Cloud 仅按小时
昇腾 910C	¥110,000	CNY	2026-09 渠道（年初约 ¥9 万，+22%）
昇腾 950PR	¥80,000	CNY	2026-09 渠道（年初约 ¥6 万，+30%）
昇腾 950DT	¥250,000	CNY	2026-09 渠道（较 7 月 +20~50%）
思元 690	¥175,000	CNY	2026-09 渠道（官方指导价 ¥19 万）
MTT S5000	¥75,000	CNY	渠道估算

读图：按汇率约 7.2 折算，昇腾 910C（约 $15.3k）与 H100（$28k）价差显著但算力仅其 40%，单位算力成本仍偏高；思元 690（约 $24.3k）价格接近 H100 但显存翻倍。HBM 短缺推高国产报价，是 2026 下半年的一致趋势。

五、生态对比​

厂商	软件栈	框架支持	迁移难度	特点
NVIDIA	CUDA + cuDNN	全支持	—	算子覆盖约 100%，生态壁垒
AMD	ROCm	主流支持	中	覆盖约 90%，持续补齐
华为	CANN	主流支持	中	覆盖约 80%，昇思 MindSpore
寒武纪	NeuWare	主流支持	中	覆盖约 75%~85%
天数智芯	IXUCA	主流支持	低（兼容 CUDA）	CUDA 兼容路线
燧原	DTU Toolkit	部分支持	高	覆盖约 60%
百度昆仑	XREA / 飞桨	主流支持	低（飞桨原生）	与 Paddle 深度绑定

关键判断：生态差距比硬件差距更难追。CUDA 的长期积累使 NVIDIA 在算子覆盖、工具链、开发者社区上仍具压倒性优势；国产路线分两派——华为/寒武纪自建栈，天数智芯/摩尔线程走 CUDA 兼容以降低迁移成本。

六、市场表现​

6.1 出货量（2026 预估）​

厂商	2026 出货（万颗）	同比	主要客户
NVIDIA（全球）	150–200	+30%	全球科技巨头
华为（昇腾）	20–30	+100%	政府、国企、科技公司
寒武纪（MLU）	10–15	+150%	字节、阿里、百度
AMD（全球）	30–40	+80%	Meta、微软等
其他国产	10–20	+200%	各类 AI 公司

6.2 中国市场份额​

类型	2024	2026（预估）	趋势
国际（NVIDIA/AMD）	约 80%	约 40%	大幅下降
国产（华为/寒武纪等）	约 20%	约 60%	快速提升

6.3 客户与部署​

• 字节跳动 / 阿里 / 百度：寒武纪思元、昇腾 910C 双线采购；
• 腾讯：昇腾 910C 为主，探索其他国产；
• 智算中心：多家国产芯片混合部署，国产化率成硬指标；
• 超大规模云：NVIDIA 仍主导海外训练，但国内云厂商国产占比快速抬升。

七、未来展望（2027）​

阵营	产品	时间	状态
华为	昇腾 960DT / 960PR	2027 Q1 / Q3	已官宣
华为	昇腾 970	2028	已官宣
NVIDIA	Rubin Ultra	2027	已公布
AMD	MI450 / MI500	2027 Q2 起	已公布
Intel	Jaguar Shores	2027+	已公布
AWS	Trainium4	2027	已公布（FP4 为 Trainium3 的 6 倍以上）
寒武纪	思元 790	2027	未公布

差距判断（2027 预期）：

• 算力：从落后 40%~50% 收窄至 30%~40%；
• 显存：从落后 20%~30% 收窄至 10%~20%，部分型号已反超；
• 制程：从落后 1~2 代收窄至约 1 代；
• 生态：从落后 35 年收窄至 23 年。

八、结论与选型建议​

核心观点：

1. 2026 年国产与国际旗舰的差距从「代际」缩小到「一代」，显存容量局部反超；
2. 单卡稠密算力、能效、制程仍是结构性短板，集群扩展与软件生态是最大变量；
3. 国产化率快速攀升（2025 约 41%），采购从「尝鲜」变「刚需」；
4. 出口管制常态化下，国产替代已从政策驱动转为市场驱动。

给不同角色的建议：

• 企业采购：训练为主且合规无碍，选 NVIDIA B200/GB300/Rubin；国产化硬指标，选昇腾 910C/950DT 混合部署；推理高密度，关注昆仑芯 R200 与 TPU v6e。
• 开发者：优先 CUDA 保泛用性；若锁定国产，选 CUDA 兼容栈（天数智芯/摩尔线程）降低迁移成本。
• 投资者：关注 HBM 供给、国产先进制程良率，以及昇腾/寒武纪的客单与份额变化。
• 政策制定者：延续对先进制程、HBM、EDA 的投入，缩短生态差距比单点算力更关键。

---

数据来源与方法：本文全部性能与价格取自 MirrorFrog 已校验芯片数据库（chips.json，252 款）与价格库（pricing.json，报价截至 2026-10），数据核对日期 2026-10-13。FP16 统一稀疏口径；官方未公开字段以「未公布」标注，不作占位填充。文中 Rubin R200 带宽（19.2 TB/s）与 TDP（1800W）、Gaudi 3 算力（BF16 矩阵 1,835 TFLOPS）、昇腾 950 系列制程与报价等，均为 2026-10 核对后的修正值。

延伸阅读：完整芯片对比表、交互式对比工具、NVIDIA H100 规格卡、华为昇腾 910C 规格卡、寒武纪思元 690 规格卡。

2022 年那篇 FP8 论文刚出来时，把低精度训练当作一个需要小心翼翼对待的工程风险。到了 2026 年，情况反过来了——不是你在考虑要不要用 FP8，而是你还在用 BF16 全程训练的话，很难解释为什么成本这么高。

三套配方，而不是一个「FP8」​

FP8 有两个子格式：E4M3 尾数位多、精度高但动态范围窄，最大有限值 448；E5M2 指数位多、范围宽，最大有限值 57344。Transformer Engine 里的 HYBRID 配方是前向用 E4M3、反向用 E5M2。但这不是唯一正确答案——DeepSeek V3 公开发布的训练配方是全程 E4M3。两种选择都能跑出稳定训练，差别在于梯度的动态范围是否真的需要那么宽。

缩放策略的选择比格式选择影响更大。当前缩放（current scaling）每个张量读两次，适配实时数据；延迟缩放（delayed scaling）只读一次，但依赖历史 amax 统计，遇到离群值容易被历史污染。工程上的普遍建议是：如果稳定性优先，先用当前缩放，不要急着换。

再往上一层是 MXFP8，也就是 OCP 的微缩放格式。张量按 32 个元素切块，每块一个 UE8M0 类型的缩放因子——全是指数位、没有尾数，表示 2 的整数次幂，范围覆盖 2 的负 127 次方到 2 的正 127 次方。这一点在硬件上很关键：缩放因子是 2 的幂，解码时只需要移位，不需要完整的浮点乘法和规格化，直接缩短了处理器的关键路径。块级粒度相比每张量缩放，能把量化误差压低相当可观的比例。

维度	BF16 混合精度	FP8 保守配方	FP8 + COAT 类激进配方
计算权重	2 字节	1 字节	1 字节
主权重	4 字节 FP32	4 字节 FP32	2 字节
梯度	4 字节	4 字节	1 字节
Adam 状态	8 字节	8 字节	1 至 2 字节
每参数合计	约 18 字节	约 17 字节	约 6 至 8 字节

这张表容易被误读。FP8 保守配方看起来只省了 1 字节，这不是 FP8 没价值，而是参数量状态在总训练内存里本来就不占大头——激活值、梯度通信缓冲、框架开销构成了剩下的部分。COAT 这类把优化器状态也量化下去的研究，纸面上有 2 到 3 倍的降幅，但实测端到端内存只降了约 1.5 倍，原因就在这里。

硬件代际决定了配方能走多远​

Ampere 及更早的架构没有 FP8 Tensor Core，Transformer Engine 在那一代只提供 FP16 和 BF16 优化。Hopper 是 FP8 的起点。Blackwell 把 MXFP8 和 NVFP4 做成了 Tensor Core 原生数据类型，Transformer Engine 的 README 明确列出对 MXFP8、NVFP4 训练的支持；Transformer Engine 2.19 版本在 2026 年 9 月加入了对 Rubin 的支持。

AMD 那边，MI450 系列在 FP8 下峰值 20 PFlops、FP4 下 40 PFlops，FP8 训练已经是硬件默认能力而非附加特性。

一个容易被忽略的细节：Blackwell 上使用 MXFP8 时，Transformer Engine 会额外维护一份转置的量化权重副本以加速反向传播。这是一份实打实的额外开销，而且是格式特定行为，不是 FP8 训练的普遍属性。

成熟度体现在基准与生产两处​

MLPerf 预训练提交里的证据比较直接：Llama 3.1 8B 预训练基准中，对注意力 BMM 的输入（前向和后向都算）使用 FP8，相比对应的 BF16 方案在注意力核上实现了明显更好的性能，同时满足了基准的精度要求，注意力部分约 1.3 倍，端到端约 5% 加速。这份提交走的还是每张量当前缩放。

生产侧的公开案例更多。DeepSeek V3 是 671B 总参数、约 37B 激活的 MoE，原生 FP8 训练并且只发布 FP8 权重；Qwen 3.5 的基础设施博客同样描述了原生 FP8 训练管线。需要注意一个术语陷阱：Hugging Face 上的 FP8 检查点，包括 Qwen 自己发布的那些，绝大多数是训练后量化产物，和原生 FP8 训练是两回事。模型卡上写「FP8 权重」不代表它是 FP8 训练出来的。

硬件侧的收益区间也有公开数据：在 H100 上相比 BF16 混合精度，FP8 训练通常快 35% 到 40%；NVIDIA 的 COAT 框架报告过约 1.43 倍的端到端加速。

剩下的坑​

需要警惕三类问题。第一，精度悬崖真实存在——有些架构对 FP8 敏感程度明显更高，换格式前必须跑基线对比。NVIDIA 公布的验证曲线里 MXFP8 和当前缩放 FP8 在 Nemotron 模型上贴合 BF16，但那不保证你的模型也贴合。

第二，loss spike 频率上升。应对手段是更积极的梯度裁剪、更长的学习率预热、更频繁的检查点。FP8 梯度比 BF16 更容易溢出，这不是可以忽略的波动。

第三，激活离群值极端的模型，延迟缩放会被历史统计带偏，此时应当直接上块级缩放，而不是在两种延迟策略之间反复调参。

展望​

2026 年剩下的变量主要在两处：一是块级缩放会不会从 Blackwell 的可选路径变成跨厂商默认——MX 系列已经是 OCP 标准，AMD、Intel、NVIDIA、Meta 都在里面；二是 4 位格式从推理侧反攻训练侧的速度有多快。一旦 NVFP4 级配方在前沿规模预训练中稳定下来，FP8 就不会再是讨论的终点，而是所有新项目的起点。真正需要判断的已经不是用不用 FP8，而是你的模型对哪一档精度敏感、敏感在训练的哪个阶段。

「每百万 token 多少钱」这个问题，在 2026 年已经失去了单独讨论的意义。2026 年 10 月 8 日的价格快照显示，最便宜的模型输入价已跌到每百万 token 0.05 美元（GPT-5 Nano）到 0.14 美元（DeepSeek V4 Flash）区间，而旗舰模型仍在 4 至 5 美元输入、20 至 25 美元输出。头部与尾部之间相差约 100 倍，真正决定账单的不是单价，而是你的计量口径。

---

一、2026 年 10 月的价格环境基线​

以下是我们核实的公开价格（单位：美元 / 每百万 token），可用于建立四季度预算模型：

模型	输入	输出	上下文	备注
GPT-5 Nano	0.05	0.40	—	当前最低输入价
Qwen3.8 Flash	0.09	0.28	—	聊天场景最省
Gemini 2.5 Flash-Lite	0.10	0.40	—	精确 token 计数
DeepSeek V4 Flash	0.14	0.28	128K	输入侧另有峰谷价
GLM-5.3 Flash	0.15	0.50	128K	—
Qwen3.6-Plus	0.50	3.00	1M	超 256K 输入翻至 2.00 / 6.00
Gemini 3.7 Flash	0.75	3.75	1M	促销价，2026-12-31 后翻倍
Claude Opus 5	5.00	25.00	1M	8 月定价至今未变

四个必须注意的口径陷阱：

1. 促销有到期日。 Gemini 3.7 Flash 的 0.75 / 3.75 是促销价，官方标注 2026 年 12 月 31 日后恢复至 1.50 / 7.50。Qwen3.6-Plus 的国际版价格在输入超过 256K 后跳到 2.00 / 6.00。用促销价做全年预算，等于给自己埋一个 2 倍的账。
2. 峰谷定价真实存在。 DeepSeek V4 Flash 的官方价为离峰 0.22 / 0.66、峰段 0.44 / 1.32，峰段为 UTC 工作日的两个时段。如果你把离线批处理挪到离峰时段，同一批任务能省一半。
3. 缓存命中价差三个数量级。 DeepSeek V4 Flash 缓存命中输入低至每百万 0.007 美元。RAG 或多轮对话场景里，缓存命中率每提升 10 个百分点，输入成本下降约一个量级。
4. 输出单价通常是输入的 3 至 5 倍。 输入重的负载（翻译、文档重读）与输出重的负载（代码生成、长摘要）必须分开建模。

二、1 亿 token 月预算的真实账单​

取一个典型负载：1 亿输入 token + 1000 万输出 token。按上表单价估算：

模型	月账单估算	说明
DeepSeek V4 Flash	约 28.60 美元（离峰）	峰段则约 57.20 美元
Qwen3.6-Plus	约 80 美元	前提是多数请求输入不超 256K，否则约 260 美元
Gemini 3.7 Flash	约 112.50 美元	促销期内，12 月底后约 225 美元
GPT-5.6 Sol	约 600 美元	短上下文标准档
Claude Opus 5	约 750 美元	1M 上下文 + 默认开启思考

同一份工作，账单差 26 倍。 但这里有个陷阱比价差本身更重要：一个 0.14 美元的模型如果需要三次重试才给出正确结果，实际成本是 0.42 美元——比一次成功的 0.50 美元模型更贵。重试率必须计入单 token 成本。

三、什么规模开始值得自建​

自建的门槛取决于你的月 token 量。公开分析给出的经验阈值是：70B 级模型在每月 5 亿至 8 亿 token 以上时，自建的推理开支相比前沿 API 标价可降低 65% 至 80%。

而自建的另一条参考线来自芯片视角。联想 2026 年的生成式 AI TCO 研究给出：自托管 Llama 70B 的每百万 token 成本约 0.11 美元，而同类托管 API 约 2.00 美元，相差约一个数量级；对一台 Blackwell 级系统连续运行对标按需云价，五年节省超过 500 万美元，降幅 83.8%。

但这些数字有一个共同前提：硬件不闲着。该研究测算的盈亏平衡点，在对标按需云价时不到四个月，在对标深度折扣的多年期预留合约时则拉长到九到十个月。

四、实测框架：四步算出你的真实单位成本​

步骤	做什么	关键变量
1	统计真实输入输出比	通常在 5:1 到 20:1 之间，别用 1:1
2	测算缓存命中率	决定输入侧实际单价
3	折算重试与失败成本	重试率乘以单次成本
4	与自建摊销对照	自建月均 token 除以单卡月处理量

第 4 步的实操做法：拿一台具体卡型（比如 8 卡 H200 整机，月租 5 万至 6.6 万元；或 B200 云端按需约 5.98 至 8.60 美元/卡时），用你实测的吞吐（token/s）换算出月产出 token 总数，再除以月成本，得到自建的每百万 token 成本。这个数字必须用你自己的实测吞吐，不能用厂商标称峰值。

五、Q4 选型清单​

• 默认档：把 DeepSeek V4 Flash 或 Qwen3.8 Flash 作为新功能的第一落点，前者综合性价比最优，后者输入最省。
• 离线档：批处理、评测、数据清洗全部挪到离峰窗口，并接缓存，DeepSeek V4 Flash 缓存命中输入低至 0.007 美元/百万。
• 旗舰档：只在具体任务被证明需要时升级。GPT-5.6 Luna 被称为「旗舰 90% 质量、2% 价格」的位置，Claude Opus 5 与 GPT-5.6 Sol 的差价买的是能力上限而非平均表现。
• 自建评估档：月 token 量稳定在 5 亿以上、且负载 7×24 有基线，才启动自建建模。
• 预算纪律：所有促销价按到期后的价格做全年预算，把峰值定价按峰段价做压测。

一句话总结：2026 年 Q4 的 token 成本优化，重点已经从「找便宜的模型」转向「选对计量口径」——缓存、峰谷、重试率、促销到期日，这四项加起来的量级远超模型之间的价差。

截至 2026 年 10 月，英伟达最近一期财报（2027 财年第二季度，截至 2026 年 7 月 26 日）把单季营收推高到 962.21 亿美元。总量已不是新闻——真正值得拆开看的是客户结构的分叉，以及中国市场贡献的持续收缩。

总量与结构​

单季营收 962.21 亿美元，同比增长 106%，环比增长 18%，连续刷新纪录，大幅超出华尔街一致预期的约 922 亿美元。GAAP 净利润 596.88 亿美元，同比增长 126%，GAAP 毛利率 75.0%。GAAP 摊薄每股收益 2.46 美元，调整后每股收益 2.22 美元，高于市场预期的约 2.10 美元。财报公布后盘后一度上涨近 5%。

板块	本季收入	同比	环比	占总营收
数据中心合计	约 890 亿美元	约 117%	约 18%	约 92%
其中：超大规模云服务商	约 487 亿美元	约 102%	约 13%	—
其中：AI 云、工业与企业客户	约 403 亿美元	约 138%	约 25%	—
边缘计算（PC/游戏/汽车）	约 72 亿美元	约 27%	约 13%	—

管理层把数据中心增长归因于 Blackwell Ultra 平台的快速部署，并对下一季度给出约 1080 亿美元的营收指引。更罕见的是，公司首次提前一年给出远期指引，首席财务官预计 2028 财年营收增长约 70%。

客户集中度：从「依赖巨头」到「双引擎」​

这是本期财报最容易被忽略、也最有信息量的一组数字。超大规模云服务商贡献约 487 亿美元，同比增长约 102%；而 AI 云、工业与企业客户（ACIE）合计约 403 亿美元，同比增长约 138%，环比增速 25% 同样高于超大规模客户的 13%。英伟达对 ACIE 的解释是，增长来自 AI 原生公司、企业客户、主权 AI 客户，以及使用 AI 云服务的超大规模运营商。

换句话说，第二增长曲线的增速已经快于第一曲线。黄仁勋在电话会上表示，公司约一半业务目前正以每年约 100% 的速度增长，而且这部分增长来自云计算之外。这种结构变化对英伟达的意义在于：它降低了单一客户群资本开支波动带来的收入风险，也意味着定价权的基础正在从「少数几家可以签下十吉瓦的客户」扩展到成千上万家企业买家。

两个收缩项​

中国市场的贡献已经降到可以忽略的量级。本季运往中国的数据中心 Hopper 产品收入占数据中心总收入的比例低于 1%，且下一季度指引未计入任何来自中国的数据中心计算收入。这基本封死了 H20 系列在中国市场的残余想象空间。

另一项值得留意的收缩来自消费端。边缘计算板块营收约 72 亿美元，虽同比增长 27%，但公司明确表示增长主要来自 Blackwell 工作站强劲销售，部分被消费级 PC 销售放缓抵消——原因正是内存和系统价格上涨。这是本季度财报中唯一被管理层主动点名的需求抑制因素，也是 AI 内存涨价向终端传导的直接证据。

研判​

英伟达这份财报给出的信号可以概括为：总量天花板还很远，但增量来源正在换轨。ACIE 增速反超超大规模客户，意味着行业需求正从「少数巨头的基础设施投资」扩散到「成千上万家企业与主权 AI 的日常采购」。

不过有三处风险需要持续跟踪。其一，指引中不含中国收入，意味着这块若出现政策松动的边际改善，才会成为超预期的上行变量。其二，ACIE 客户群体更分散、订单颗粒度更小，对渠道与交付能力的要求高于对单一产能的依赖，这会改变公司的收入确认节奏。其三，库存与负债指标：财报披露当季存货拨备及超额存货采购义务约 9.85 亿美元，上半年合计约 21 亿美元，同时公司首次将「负债」单独列为风险因素，一到五年内到期债务为 150 亿美元，上一季度这一数字仅 27.5 亿美元。

真正决定下一个季度的变量，已经不在英伟达自己手里，而在台积电的先进封装产线和 HBM4 的爬坡速度上——这两者是 Blackwell Ultra 与 Rubin 平台能否按计划交付的物理前提。

选型 AI 芯片时，最容易被数字晃点的地方就是算力表。同一颗 H100，有的页面写 990 TFLOPS，有的写 1979 TFLOPS，两个都没错——错的是拿来做对比的那个人。这篇文章把算力口径拆开讲清楚。

稠密与稀疏：恰好两倍的差距​

稠密（dense）算力指计算单元对每一对数据都做真实乘加时的峰值吞吐；稀疏（sparse）算力则假设输入矩阵里有一定比例的零可以被跳过。NVIDIA 自 Ampere 架构起支持 2:4 结构化稀疏：每四个权重里固定有两个为零，硬件直接跳过对应的乘加，峰值算力恰好翻倍。

以公开规格为例：

芯片（SXM）	BF16 稠密	BF16 稀疏	FP8 稠密	FP8 稀疏
A100 80GB	约 312 TFLOPS	约 624 TFLOPS	不支持	不支持
H100	约 990 TFLOPS	约 1979 TFLOPS	约 1979 TFLOPS	约 3958 TFLOPS

NVIDIA 官方数据表中标注的数字默认就是稀疏口径，并附有"不采用稀疏技术时规格降低一半"的脚注。问题在于，这个脚注在传播过程中经常被丢掉，于是 1979 就成了流传更广的那个数。

为什么"注水"能成立：真实负载很少吃到稀疏红利​

结构化稀疏要兑现收益，前提相当苛刻：模型必须经过配套的剪枝与微调，让权重收敛到 2:4 的稀疏模式，且精度损失可接受；推理软件栈还要支持稀疏数据布局。现实是，主流大模型的训练和推理几乎都以稠密方式运行，市面上真正把结构化稀疏打满的生产级部署屈指可数。换句话说，稀疏算力是一张"理论上限的支票"，多数负载兑不了现。

除了稀疏口径，规格表里还埋着几层口径差：精度档位（FP4 数字天然比 BF16 大数倍）、单芯还是整机（机柜级数字除以 GPU 数才有可比性）、峰值还是持续（散热和功耗墙会让持续算力明显低于峰值）。厂商倾向把对自己最有利的那一格放到宣传页首行，这不是造假，而是"选择性呈现"。

四步把规格表读出真实算力​

1. 统一精度：对比双方换算到同一精度档，BF16 对 BF16，FP8 对 FP8，绝不跨档比较。
2. 还原稠密值：看到带稀疏角标的数字，先除以二再进表。粗略经验是，宣传数字越大越可能是稀疏或低精度口径。
3. 确认统计边界：是单芯片、单模组还是整机柜数字；是否有双芯封装的合并口径。
4. 换算成业务指标：用你的模型参数量和显存带宽反推 tokens 上限，与标称算力互相校验。算力再高，喂不饱就是虚的。

小结​

稠密算力才是大多数真实负载能摸到的天花板，稀疏算力是需要软硬件全套配合的期权。选型时把所有候选芯片统一到"同精度、稠密、单芯"的口径上做对比，再用显存带宽和互连带宽交叉验证，就能过滤掉大部分注水成分。记住一条朴素规律：如果某个宣传数字比同代竞品高得离谱，先查它的口径，而不是急着惊叹。

2026 年的数据中心里，Hopper 一代与 Blackwell 一代正在同柜共存。买 H100 还是 H200，上不上 B200，不再只是"买新不买旧"的问题，而是一道涉及电价、液冷改造和 token 成本的核算题。

三张规格表：看清代际差异在哪​

从 H100 到 H200，提升几乎全部来自内存子系统；从 H200 到 B200，则是一次架构层面的全面换代：新 Tensor Core、双 Die 封装、FP4 精度、NVLink 带宽翻倍。三款芯片的关键规格如下（Tensor 数据均为稀疏口径，稠密值减半）：

规格	H100 SXM	H200 SXM	B200
架构	Hopper	Hopper	Blackwell（双 Die）
显存	80GB HBM3	141GB HBM3e	192GB HBM3e（软件可见约 180GB）
显存带宽	3.35TB/s	4.8TB/s	8TB/s
BF16 Tensor	1,979 TFLOPS	1,979 TFLOPS	约 2,250 TFLOPS
FP8 Tensor	3,958 TFLOPS	3,958 TFLOPS	约 4,500 TFLOPS
FP4 Tensor	不支持	不支持	约 20,000 TFLOPS
最大 TDP	700W	700W	1,000W
NVLink	900GB/s（第 4 代）	900GB/s（第 4 代）	1.8TB/s（第 5 代）

三点值得展开。第一，H100 与 H200 算力相同，H200 的收益完全由显存兑现：MLPerf 上 Llama 2 70B 推理吞吐接近 2 倍，训练实测提速通常在 1.1 至 1.4 倍之间，且越依赖大 batch、大上下文收益越明显。第二，B200 的 FP4 峰值是 Hopper 的约 5 倍，这是为推理时代设计的精度档位；跑传统 FP16/FP8 训练时，代际差距收窄到约 1.3 至 2.3 倍。第三，B200 的 1.8TB/s NVLink 与 1,000W 功耗，让它事实上被锁定在 HGX/DGX 的 SXM 体系里，几乎没有 PCIe 版本。

整机采购：价格与基础设施门槛​

据公开报道与市场行情，8 卡整机的大致采购区间如下：

整机（8 卡）	参考价格区间	供电与散热	适配场景
HGX H100	20 万至 30 万美元	风冷为主	训练微调通吃，生态最成熟
HGX H200	约 26 万美元起	风冷为主	70B 级推理与训练，长上下文
HGX B200	25 万至 40 万美元	部分机型需要液冷或混合散热	FP4 推理、大规模微调

基础设施是隐性成本。B200 整机功耗接近 10kW 级，对机柜供电密度提出要求；而更上层的 GB200 NVL72 则强制液冷，风冷机房改造动辄每兆瓦数百万美元。反过来，H100/H200 的风冷兼容性成为存量机房升级路径上最平滑的一步。云租赁价格也在同步下沉：H200 实例价格已明显低于发布初期，B200 实例则在各大云上快速铺开。

分场景采购建议​

大规模训练：优先 B200。NVLink 带宽翻倍直接影响张量并行与专家并行的通信效率，FP8 与 FP4 的混合精度路径也更完整。预算受限或机型紧张时，H200 训练 70B 级模型依然够用。

生产推理：这是 H200 的主场。单卡 141GB 装下 70B 模型免并行，每百万 token 成本往往低于 B200；除非你的业务跑在 FP4 量化模型或超长上下文上，B200 的算力溢价才会真正兑现。

微调与中小模型：H100 的性价比此时最高。模型装得进 80GB 时，H200 的多余显存帮不上忙，为带宽多付的钱买不到对应收益。

小结​

三代芯片的关系不是替换，而是分层：H100 是性价比与生态底座，H200 是推理性价比的甜点，B200 是 FP4 时代的算力上限。2026 年采购的正确姿势是先问三个问题——模型多大、机房能供多少电、预算按 token 还是按整机核算——答案自然会把你引向其中一张规格表。