跳到主要内容

3 篇博文 含有标签「H100」

NVIDIA H100 GPU detailed analysis

查看所有标签

NVIDIA H200 深度解析:141GB HBM3e 的长青主力与它在中国市场的曲折命运

· 阅读需 5 分钟
Industry Research Team

在 Blackwell 与 Rubin 接连发布的 2026 年,一颗 2024 年发布的 Hopper 芯片依然是全球推理集群里最常见的面孔。H200 的故事说明了一件事:在 LLM 时代,显存容量与带宽往往比峰值算力更能决定服务器的价值。

H200 到底改了什么:加显存,而不是加算力​

H200 是 H100 的"内存增强版",这是理解它的全部起点。两者的 Hopper 架构核心、算力规格几乎一致:BF16 Tensor Core 均为 1,979 TFLOPS(稀疏口径),FP8 Tensor Core 均为 3,958 TFLOPS(稀疏口径)。NVIDIA 没有动计算部分,而是把显存从 80GB HBM3 换成了 141GB HBM3e,带宽从 3.35TB/s 提升到 4.8TB/s——容量约为 1.8 倍,带宽约为 1.4 倍。

这个改动的逻辑直接来自 LLM 推理的物理特性:生成每一个 token 都要把模型权重和 KV Cache 从显存里读一遍,单流解码速度受限于显存带宽而非 TFLOPS;而能装下多大的模型、多大的上下文,则受限于显存容量。H200 在两个维度上同时抬高了上限,于是出现了官方 MLPerf 测试中 Llama 2 70B 推理吞吐接近 2 倍、GPT-3 175B 推理提升约 1.6 倍的成绩。

规格H100 SXMH200 SXMH200 NVL
显存80GB HBM3141GB HBM3e141GB HBM3e
显存带宽3.35TB/s4.8TB/s4.8TB/s
BF16 Tensor(稀疏)1,979 TFLOPS1,979 TFLOPS1,671 TFLOPS
FP8 Tensor(稀疏)3,958 TFLOPS3,958 TFLOPS3,341 TFLOPS
最大 TDP700W700W600W
NVLink900GB/s900GB/s900GB/s(2 路或 4 路桥接)
MIG 切分7 实例7 实例(每实例 18GB)7 实例(每实例 16.5GB)

值得注意的是 H200 NVL 版本:为了适配企业风冷机柜,其功耗上限降到 600W,算力也相应下调,但保留了 141GB 显存与四卡 NVLink 桥接能力,是"风冷机柜跑 70B 模型"的常见方案。

中国市场:从 H20 的遗憾到 H200 的回归​

H200 在 2026 年的最大新闻不来自参数表,而来自出口管制。此前中国市场的合规替代品 H20 为了满足出口阈值,保留了大量显存带宽(96GB HBM3、4TB/s 级别)却把算力削到约 148 TFLOPS BF16,"能推理不能训练",被广泛认为是糟糕的替代品。

2025 年 12 月,路透社报道 NVIDIA 计划在春节假期前向中国交付 H200;2026 年 3 月的 GTC 大会上,黄仁勋确认在获得美方出口许可与中方审批后恢复面向中国市场的生产;2026 年 5 月,美国商务部批准了包括阿里巴巴、腾讯、字节跳动、京东等约 10 家中国企业购买 H200,每家获批客户最多可采购 7.5 万颗,联想、富士康等分销及服务器企业也拿到了相关授权。

中国市场 SKU算力(BF16 稠密口径约值)显存定位
H20约 148 TFLOPS96GB HBM3推理合规替代,算力被大幅削减
H200约 990 TFLOPS141GB HBM3e训练推理兼顾,2026 年恢复供应
B30A(据公开报道)未确认传 Blackwell 系裁剪版观察中的下一代中国 SKU

需要强调的是:H200 返华是"有限放行"而非限制解除,监管框架仍在,政策方向此前已经反转过多次,采购预算不宜单边押注。## 2026 年视角:H200 还值不值得买

在 B300、Rubin 已经铺开的 2026 年,H200 的定位可以概括为"性价比推理底座"。它的优势场景非常明确:其一,单卡装下 70B 级稠密模型或量化后的百亿级模型,免去张量并行的通信开销;其二,对需要 FP64 或成熟 FP8 生态的 HPC 混合负载,Hopper 栈依然最稳;其三,风冷兼容性好,H200 NVL 可直接进入存量企业机柜。

它的劣势同样清楚:相比 B200/B300,FP4 时代的算力代差已经拉开;随着合规渠道打开,二手 H100 价格与亚洲区域租赁价格都在承压回落,采购者应以季度为单位重新询价。按每百万 token 的综合成本测算,H200 通常在"单卡顶替两卡 H100"的场景下胜出;而模型能装进 80GB 且 prefill 占比高的场景,H100 甚至更便宜。

小结​

H200 的价值公式是:H100 的算力,加上 1.8 倍显存与 1.4 倍带宽,再乘上一个高度成熟的 CUDA 生态。对以推理为主、追求 TCO 的团队,它在 2026 年仍是稳妥的默认答案;对训练前沿模型或押注 FP4 的 AI 工厂,Blackwell 与 Rubin 才是主线。在中国市场,它则承载了出口管制博弈中最微妙的一章——值得每季度复核一次供应与价格信号。

二手 H100 保值之谜:AI 芯片为何成了"硬通货"

· 阅读需 4 分钟
Industry Research Team

按照IT行业的老经验,服务器硬件三年折旧归零。但H100正在改写这条铁律:机龄一年半到两年半的二手卡仍能保住原价的四分之三以上,2026年甚至出现了挂牌交易的机构化二手市场。AI芯片为何成了科技史上罕见的"硬通货"?

一条反常的价格曲线​

先看数据。多家渠道2026年的报价显示:二手H100 80GB单卡价格大致稳定在1.2万至2.2万美元区间,视成色与渠道而异;英国经销商Servnet报告称,2023年底卖约4万美元的H100如今二手市场成交在1.2万至2.2万美元。硬件金融公司Mercatus追踪的残值曲线显示,机龄18至30个月的H100仍保留75%至85%的价值,60个月后才降至25%至35%的底部区间。

对比之下,消费级显卡在下一代发布后12个月内通常贬值40%到50%。更反常的是租金与售价的背离:据Silicon Data等机构研究,H100按小时计的市场租赁价已从2023年峰值的7至10美元跌至2至4美元,但一年期合约租金却从2025年10月的1.70美元/小时涨到2026年3月的2.35美元/小时——零散供给在跌价,锁定型需求在涨价。

指标2023至2024年峰值2026年现状
H100单卡全新价格炒至最高约5万美元约2.5万至4万美元
H100单卡二手价格尚无活跃市场约1.2万至2.2万美元
小时租金(现货)7至10美元2至4美元
一年期合约租金约1.7美元/小时约2.35美元/小时
18至30个月残值率无数据75%至85%

硬通货的三重支撑​

H100保值的第一重支撑是推理经济学。大模型推理对算力的要求低于训练,H100跑推理的单位token成本依然划算,二手买家买的是"每token成本"而非"峰值性能",这为旧卡创造了长尾需求。第二重是供给端:Blackwell虽在放量,但HBM与先进封装持续受限,新旧交替被拉长,H100大规模退役的时点不断后移。第三重是稀缺的合规供给——据英国《金融时报》援引中国芯片贸易商的报道,一台美国零售约40万美元的DGX B300服务器在中国市场成交价一度超过800万元人民币,同款硬件因法律可及性不同而出现数倍价差,套利需求外溢抬高了全球二手价格。

从灰色交易到机构化市场​

2026年7月,一个面向企业级客户的二手、翻新与富余算力交易平台正式开放,挂牌覆盖H100、H200、B200、A100、L40S等多代产品,询价量从数百台到数万台不等。这标志着二手GPU从零散的电商与拍卖,走向有报价、有质保分层(翻新机较未测试机溢价15%到25%)的机构化市场。与此同时,超过200亿美元的算力抵押贷款依赖残值假设——二级市场给出的可观测价格,让贷款方第一次能用真实数据校准折旧模型。

研判:保值是周期现象,不是永恒规律​

必须清醒地看到,H100的保值建立在"下一代产能受限、推理需求爆发"两个暂时条件上。行业共识是:一旦Rubin世代在2026年底至2027年大规模铺开,H100二手价将再承压10%到20%,残值曲线终会走向传统IT设备的归宿。但这段插曲的产业意义深远:它证明了当算力成为生产资料,GPU就从"设备"变成了"资产类目",拥有租金、残值、证券化与抵押融资的完整金融属性。对采购方而言,现在的关键是时机——在下一代广泛可用前,H100仍是最抗跌的算力资产。

寒武纪 MLU690 vs NVIDIA H100 深度对比:国产 AI 芯片能否替代 H100?

· 阅读需 6 分钟
AI Hardware Analyst

2026 年,在美国对华芯片出口管制背景下,寒武纪 MLU690 作为"中国版 H100"备受关注。本文从算力、显存、功耗、软件生态、实测性能、价格等维度深度对比,帮助您做出选型决策。

核心结论(先看这里)​

维度MLU690H100胜者差距
BF16 算力600 TFLOPS989 TFLOPSH100+65%
显存容量64GB HBM380GB HBM3H100+25%
显存带宽2 TB/s3.35 TB/sH100+68%
TDP280W700WMLU690-60%
能效比2.14 TFLOPS/W1.41 TFLOPS/WMLU690+52%
软件生态NeuWare(75% 覆盖率)CUDA(100% 覆盖率)H100差距大
价格~¥140,000~¥200,000MLU690-30%
供货国内现货受管制MLU690✅

一句话总结:MLU690 算力约为 H100 的 60%,但功耗仅 40%,价格仅 70%,适合中国市场 AI 训练和推理。


1. 规格对比(详细)​

1.1 算力对比​

精度MLU690H100 SXM5H200 SXM5说明
FP8~300 TFLOPS(推测)3,958 TFLOPS3,958 TFLOPSH100 支持 FP8,MLU690 可能不支持
BF16/FP16600 TFLOPS989 TFLOPS989 TFLOPSH100 领先 65%
FP32~150 TFLOPS(推测)60 TFLOPS60 TFLOPSMLU690 推测值,H100 实际更高
INT81,200 TOPS1,979 TOPS1,979 TOPSH100 领先 65%

关键发现:

  • ✅ MLU690 在 BF16 精度下达到 H100 的 60% 算力
  • ⚠️ H100 支持 FP8(4 位),MLU690 可能不支持(需要确认)
  • ⚠️ H100 的 INT8 算力更高,适合推理场景

1.2 显存对比​

项目MLU690H100H200说明
容量64GB HBM380GB HBM3141GB HBM3eH200 容量最大
带宽2 TB/s3.35 TB/s4.8 TB/sH200 带宽最高
类型HBM3HBM3HBM3eH200 使用最新 HBM3e

关键发现:

  • ⚠️ MLU690 显存容量比 H100 少 20%(64GB vs 80GB)
  • ⚠️ MLU690 显存带宽比 H100 低 40%(2 TB/s vs 3.35 TB/s)
  • ❌ 运行 70B+ 参数模型时,MLU690 可能显存不足(需要模型并行)

1.3 功耗对比​

项目MLU690H100H200
TDP280W700W700W
能效比(FP16/W)2.14 TFLOPS/W1.41 TFLOPS/W1.41 TFLOPS/W
8 卡服务器功耗~3.5kW~6kW~6kW
年电费(¥0.6/kWh)~¥18,400~¥36,800~¥36,800

关键发现:

  • ✅ MLU690 功耗仅 H100 的 40%,数据中心电力成本大幅降低
  • ✅ MLU690 能效比领先 52%,更适合大规模部署
  • ✅ 对于推理场景(功耗敏感),MLU690 优势明显

2. 软件生态对比​

2.1 框架支持​

框架MLU690(NeuWare)H100(CUDA)说明
PyTorch✅ 支持(PyTorch-Cambricon)✅ 原生支持MLU690 需要额外安装插件
TensorFlow✅ 支持(TensorFlow-Cambricon)✅ 原生支持同上
JAX⚠️ 部分支持✅ 原生支持MLU690 支持有限
ONNX⚠️ 部分支持✅ 原生支持同上
vLLM⚠️ 适配中✅ 原生支持MLU690 需要等待社区适配

2.2 算子覆盖率​

类别MLU690H100说明
基础算子✅ 95%✅ 100%卷积、矩阵乘法等
Transformer 算子✅ 85%✅ 100%Attention、LayerNorm 等
自定义算子⚠️ 需要手写✅ CUDA C++MLU690 开发难度大
LLM 推理优化⚠️ 基础支持✅ 完善(FlashAttention、PagedAttention)H100 领先

关键发现:

  • ⚠️ NeuWare 生态仅 5-6 年发展,算子覆盖率约 75-85%
  • ❌ 复杂 LLM 模型(如 GPT-4、Claude)可能需要手工优化
  • ✅ 常见模型(Llama、Qwen、GLM)已基本适配

3. 实测性能对比​

3.1 训练性能​

模型MLU690(训练时间)H100(训练时间)加速比
Llama 7B~48 小时(推测)~30 小时1.6x
Llama 70B~7 天(推测)~4.5 天1.6x
Qwen 72B~8 天(推测)~5 天1.6x

注意:以上数据为推测,实际性能取决于软件优化程度。

3.2 推理性能​

模型MLU690(tok/s)H100(tok/s)说明
Llama 7B~80 tok/s(推测)~120 tok/sH100 领先 50%
Llama 70B~20 tok/s(推测)~35 tok/sH100 领先 75%
Qwen 72B~18 tok/s(推测)~30 tok/sH100 领先 67%

关键发现:

  • ⚠️ H100 推理性能领先 50-75%
  • ✅ 但 MLU690 功耗仅 40%,能效比更高
  • ✅ 对于成本敏感的推理场景,MLU690 更划算

4. 价格对比​

4.1 硬件采购成本​

项目MLU690H100H200
单卡价格(国内)~¥140,000~¥200,000~¥300,000
8 卡服务器(含整机)~¥1,200,000~¥1,800,000~¥2,600,000
成本差-+50%+117%

4.2 TCO(3 年)​

项目MLU690H100说明
硬件采购¥1,200,000¥1,800,000MLU690 便宜 33%
电费(3 年)¥55,200¥110,400MLU690 便宜 50%
机房成本¥150,000¥250,000MLU690 便宜 40%
TCO(3 年)¥1,405,200¥2,160,400MLU690 便宜 35%

关键发现:

  • ✅ MLU690 的 TCO 比 H100 低 35%
  • ✅ 对于大规模部署(100+ 卡),成本优势明显

5. 选型建议​

5.1 选 MLU690,如果...​

  • ✅ 您的业务主要在中国市场
  • ✅ 您受美国出口管制影响,无法采购 H100/H200
  • ✅ 您对功耗敏感(边缘数据中心、电力成本高的地区)
  • ✅ 您的模型是常见架构(Llama、Qwen、GLM)
  • ✅ 您有国产化替代需求(政府、国企、军工)

5.2 选 H100/H200,如果...​

  • ✅ 您的业务在全球市场
  • ✅ 您需要训练顶级前沿模型(GPT-4 级)
  • ✅ 您的模型使用复杂算子(需要 CUDA 生态)
  • ✅ 您对性能要求极高(低延迟推理)
  • ✅ 您可以合法采购 H100/H200

5.3 混合部署(推荐)​

场景推荐方案
训练H100(高性能) + MLU690(低成本扩充)
推理MLU690(成本敏感) + H100(低延迟)
国产化项目全部 MLU690
国际市场全部 H100/H200

6. 未来展望​

6.1 MLU690 的不足​

  • ⚠️ 软件生态不成熟:算子覆盖率 75-85%,复杂模型需要手工优化
  • ⚠️ 显存容量小:64GB 限制了对 70B+ 参数模型的支持
  • ⚠️ 互联性能弱:Cambricon Link 带宽低于 NVLink
  • ⚠️ 国际市场受限:受美国出口管制影响

6.2 MLU690 的改进方向​

  • 📅 MLU790(2027 年):预计 5nm 制程,算力提升 2x
  • 📅 显存升级:下一代可能支持 HBM3e,容量提升至 128GB
  • 📅 软件优化:NeuWare 生态持续改进,算子覆盖率目标 95%

7. 总结​

维度MLU690H100推荐场景
算力⭐⭐⭐⭐⭐⭐⭐⭐⭐H100 适合顶级训练
显存⭐⭐⭐⭐⭐⭐⭐H100 适合大模型
功耗⭐⭐⭐⭐⭐⭐⭐⭐MLU690 适合推理
生态⭐⭐⭐⭐⭐⭐⭐⭐H100 适合复杂模型
价格⭐⭐⭐⭐⭐⭐⭐⭐MLU690 适合大规模部署
国产化⭐⭐⭐⭐⭐❌MLU690 适合中国市场

最终建议:

  • 🇨🇳 中国市场:优先选择 MLU690(国产化 + 低成本)
  • 🌍 国际市场:优先选择 H100/H200(性能 + 生态)
  • 💡 混合部署:训练用 H100,推理用 MLU690

参考资料​


声明:本文数据基于公开资料和合理估算,实际性能以厂商官方测试为准。MLU690 的软件生态在快速发展中,建议持续关注 NeuWare 更新。

最后更新:2026-06-23