88 posts tagged with "AI Infrastructure"

当 Oracle 用卡车运送天然气维持数据中心运转，当戴尔要在东京附近自建燃气电厂，一个事实已经无法回避：在 AI 工厂的成本结构里，电力正在取代芯片成为第一约束。本文梳理这场能源危机的证据链，以及行业的两条自救路线。

电力成为第一约束的证据链​

证据链从芯片功耗表开始。站内 Rubin R200 规格卡显示：单卡 TDP 1800-2300W、必须液冷，Vera Rubin NVL72 机柜整体功耗约 180kW、定价 350-400 万美元。而这只是开始——

平台	机架功耗（公开口径）	阶段
GB300 NVL72	~140kW	2026 年现役主力
VR200 NVL72	~180-230kW（按单卡 1800-2300W 口径）	2026 H2 交付
Rubin Ultra NVL576	~600kW	2027 H2 目标

机架功耗三年翻四倍，电网侧的配套却以五年为周期规划建设。缺口由此产生，并且已经产生了荒诞但真实的运营现实：据 Bloomberg 确认，Oracle 用卡车运送天然气维持多座数据中心的运转——电网容量跟不上，只能用最原始的物流方式给服务器"送电"。行业分析师给出的方向性数字是 $10 万亿美元级别的数据中心建设需求，其中相当比例将花在电力基础设施上。

需求侧的另一个信号是报建数据：Anthropic 在德州 Cedar Creek 的数据中心项目报建金额为 3.66 亿美元——这还只是头部实验室扩张计划中的一个节点。

自救路线一：离网自建燃气电厂​

第一条路线是不再等电网，自己发电。标志性案例是戴尔与日本 Jera（JERA）、Rhaelm 合作，在东京附近投资 150 亿美元建设 400MW 离网 AI 数据中心，配套燃气电厂，计划 2028 年投入运营。400MW 约等于十几万台高性能 GPU 的供电规模，"芯片厂+能源商+集成商"的组合预示着未来 AI 工厂选址的新范式：哪里有气源，哪里就能建机房。

离网自建的优势是确定性与速度——不受电网排队与扩容审批的制约；代价是资本开支剧增与能源资产的沉没成本。对于有长期算力承诺的超大规模客户，这笔账算得过来；对于中小算力运营商，则更可能通过租用离网机房来间接获益。

自救路线二：电网响应式数据中心​

第二条路线是与电网合作，让数据中心成为电网的"可调负载"。2026 年 9 月 16 日，Emerald AI、Google、NVIDIA 共同成立 AEMA 联盟（先进能源与算力联盟），推动数据中心参与电网需求响应。一个直观的案例来自硅谷：当地电力公司已向 NVIDIA Eos AI 工厂发出 200 余次需求响应信号——每当电网紧张，AI 工厂可以短时降载，换取电价优惠或容量豁免。

这条路线的理论基础是 AI 负载的时间弹性：训练可以断点续跑，推理可以排队，某些批处理任务完全可以错峰。当数万座 AI 工厂都具备柔性用电能力，数据中心就从电网的"负担"变成了"调节资源"。

DSX 的"软件定义能耗管理"玩法​

两条路线之间，NVIDIA 还提供了第三种思路：用软件榨干每一瓦的性能。NVIDIA DSX（含 MaxLPS 等能耗管理组件）在 Lambda 的实测中实现了同功率下 token 吞吐 +24%、每瓦性能 +23%——不增加一度电，多产出近四分之一的智能。

路线	代表案例	核心逻辑
离网自建	戴尔×Jera×Rhaelm 东京 400MW	能源自主，绕开电网排队
电网响应	AEMA 联盟、Eos 200+ 次需求响应	柔性用电，换电价与容量
软件提效	NVIDIA DSX：每瓦性能 +23%	同功率多出 token

这三种打法并不互斥：现实的 AI 工厂往往是"自备电源打底 + 电网响应削峰 + 软件调度提效"的组合拳。

电力之外的第二个硬约束​

在讨论能源时，别忽略存储。美光给出预测：存储短缺将持续到 2028 年。HBM 与 DRAM 的紧张不仅推高整机成本（站内 Rubin Ultra 卡记录：内存已占整机 TCO 约 40%），还直接限制了单位电力所能部署的算力——当一张 1800-2300W 的 GPU 需要搭配 288GB HBM4 才能发挥性能，存储供给与电力供给实际上是同一个产能问题的两面。

对 AI 工厂选址与 TCO 的影响​

对计划自建或租用算力的团队，能源变量必须写进 TCO 模型：

1. 电价参数是最大变量。在站内 TCO 计算器中调整电价参数即可发现：当机架功耗进入 200kW+ 区间，三年电费支出可与整机柜购置费同一量级，选址的每度电差价会直接改写回本周期。
2. 离网溢价与确定性溢价。离网机房的每度电可能更贵，但换取的是不排队、不停电的确定性——对训练任务，停电机会的成本远高于电价差。
3. 需求响应收益。具备降载能力的机房可从电力公司获得电价优惠，这部分收益在传统 TCO 模型中通常被遗漏，在 200+ 次需求响应信号的硅谷案例里已经真金白银。

小结​

"电比卡贵"不再是修辞：Oracle 的天然气卡车、戴尔的自建电厂、$10 万亿的建设需求，共同勾勒出 AI 算力竞争的下一战场在能源。行业的自救分成三条线——离网自建换取确定性、电网响应换取经济性、软件提效换取每瓦产出。对于在 2027 年计划部署 Rubin Ultra 级 600kW 机架的玩家，今天要谈的不是芯片合同，而是电力协议。算力的尽头是能源，这句话正在从口号变成资产负债表。

当训练集群规模迈过千卡、冲向万卡，网络布线就不再是"把线插上"那么简单。Rail-optimized（轨道优化）拓扑是当今几乎所有大规模 GPU 集群的标准答案——DGX SuperPOD、各大云厂商的 H100 与 B200 集群都在使用。本文从工程视角拆解它的原理、布线纪律与运维要点。

为什么需要 Rail-optimized​

现代分布式训练的通信模式高度规律：数据并行场景下，每个节点的 GPU0 与其他所有节点的 GPU0 通信最频繁，梯度 AllReduce 的主要流量就发生在这种"同位号"GPU 之间。Rail-optimized 的思路是顺着这个模式布线：一台 8 卡服务器有 8 张网卡，GPU0 的网卡统一接入 Rail 0 叶子交换机，GPU1 接入 Rail 1，以此类推。这样同轨通信只经过一层叶子交换机，只有跨轨流量才需要上脊层，跳数与拥塞都显著降低。

对比传统的"随机上联"布线，Rail-optimized 把物理拓扑与集合通信模式对齐，NCCL 等通信库可以据此选择最优路径。据公开报道，在万卡规模下，布线方式对有效通信带宽的影响可以达到两位数百分比，一根错误的跳线就足以拖慢整个训练作业。

一个典型的部署单元​

以业界常见的参考架构为例，最小部署单元（Scalable Unit，SU）通常由 32 台 8 卡服务器组成，共 256 卡，配 8 组 Rail 叶子交换机；多个 SU 通过脊层汇聚，两级架构可平滑扩展到 4096 卡以上，三层结构则可支撑数万卡。Ethernet 路线的代表是 NVIDIA Spectrum-X 平台：Spectrum-4 交换机单端口 800G，配合 BlueField-3 SuperNIC、逐包自适应路由与硬件拥塞控制；InfiniBand 阵营同样采用 rail 思路组织 Fabric。

值得关注的新趋势是多平面设计：在最新的 NVL72 级别企业参考架构中，每块 800G 网卡被拆分为两条 400G 链路，分别接入两个独立的网络平面。每个平面各由 4 台叶子交换机负责同一 GPU 位号的轨，两个平面互为冗余，单一平面故障时集群仍能继续训练。这种"拓扑并行化"正在成为十万卡级别机房的主流选择。

维度	传统随机上联	Rail-optimized
同位号 GPU 通信路径	多层跳转，路径不定	单层叶子交换机，路径确定
集合通信带宽	受 ECMP 哈希不均影响	适配 NCCL，接近线速
布线复杂度	低，随机可插	高，必须严格按图施工
故障定位	需全网排查	按 Rail 分域，边界清晰
扩容方式	灵活但性能难预测	按 SU 整体扩展

布线纪律：运维最容易踩的坑​

Rail-optimized 对施工的容错率极低。GPU3 的网卡若被误接到 Rail 5 交换机，链路照样能通，ping 与带宽抽测都看不出异常，但一旦跑起大规模 AllReduce，通信性能立刻劣化。工程上必须做到三点：

• 交付验收时逐链路核对竣工图（as-built），用带外管理工具确认每个端口对应的 GPU 位号与 Rail 编号，形成逐端口验证记录；
• 更换线缆或光模块后执行通信回归测试，重点验证跨节点同轨带宽与 AllReduce 基线；
• 把布线拓扑录入 CMDB，与 NCCL 的拓扑探测结果交叉校验，任何变更走双人复核。

此外，"同轨流量只过一层叶子"也意味着叶子交换机成为关键故障域：每组 Rail 应至少保留上联冗余，核心训练集群建议直接参考双平面设计，把容错做进拓扑而不是靠事后补救。

写在最后​

对正在规划千卡以上集群的团队，我们建议：第一，网络设计先行，Rail 拓扑、SU 划分与机柜布局要在服务器下单前锁定，避免交付期被动返工；第二，把布线验收当成与硬件点检同级的交付里程碑，逐端口记录、责任到人；第三，运维侧建立"布线变更双人复核加通信性能回归"的标准流程；第四，交换机选型预留端口余量，为后续扩容留出空间，避免为加几台机器而全机房重新跳线。万卡集群的很多故障，其实在建机房那天就已经埋下。

训练和推理抢卡、分布式作业因部分调度而死锁、GPU 利用率常年趴在低位——这些问题的根源往往是调度层设计。Ray 与 Kubernetes 生态各自给出了一套答案，关键是怎么组合。

两条路线的心智模型​

路线一：Ray 为中心。 把 Ray 当作计算编排层，Kubernetes 只负责运行 Ray Pod。KubeRay Operator 管理 RayCluster、RayJob、RayService 三类资源，Ray 自动伸缩器根据任务与 actor 的资源需求增删 worker 组。优点是 Python 世界的体验极好，任务级弹性、异构资源混用（不同代次 GPU 混部）都是内置能力；代价是调度决策发生在集群之外，Kubernetes 只看到结果。

路线二：Kubernetes 为中心。 用批调度器直接管理 GPU 作业，代表性组件是 Volcano 与 Kueue。Volcano 提供 Gang 调度、队列公平共享、抢占与网络拓扑感知调度；Kueue 做作业准入控制，排队等资源到位再放行。Ray 作业同样能被纳管：KubeRay 从早期版本就集成 Volcano 解决分布式训练的资源死锁，2025 年发布的 Volcano v1.13 进一步支持直接用原生 Volcano Job 创建和管理 Ray 集群。

能力对比​

能力	Ray 自动伸缩	Volcano	Kueue	NVIDIA KAI Scheduler
Gang 调度	弱（依赖 minReplicas）	原生支持	原生支持	原生支持
任务级弹性伸缩	强，秒级感知任务需求	作业级	队列准入级	支持工作负载伸缩
抢占与优先级	部分支持	支持	配合优先级类	高优推理可抢占低优训练
网络拓扑感知	无	v1.12 起 IB 拓扑，v1.13 支持 Label 自动发现	无	无
异构 GPU 混部	强	强	强	强

实践中的组合形态​

最常见的生产形态是"KubeRay 加批调度器"：RayCluster 的 Pod 标注调度器与队列，Gang 调度保证多机训练作业要么全起要么不起；启用了自动伸缩的集群按 minReplicas 做 Gang 约束，兼顾弹性与死锁防护。大型团队还会叠 NVIDIA KAI Scheduler，让在线推理在算力紧张时抢占离线训练。工程细节上，KubeRay 在大规模集群下要调大 reconcile 并发与客户端 QPS，社区压测显示默认并发配置扩容上万个 Pod 会明显变慢。Volcano 的基于节点标签的 HyperNode 自动发现功能则把"机架到交换机到节点"的拓扑维护简化为打标签，对要求亲和性调度的 IB 集群很实用。

实操建议​

纯 Python 研发团队、任务粒度碎、需要异构混部的场景，以 Ray 为中心最省心；作业规模大、需要队列治理与多团队配额的平台团队，以 Volcano 或 Kueue 为骨架、Ray 作为负载接入。两条路线不冲突，先想清楚"谁拥有资源审批权"这个组织问题，技术选型自然清晰。

当业务里有大量重复系统提示词、多轮对话历史或 RAG 共享文档时，vLLM 的 PagedAttention 只能做页级缓存，而 SGLang 的 RadixAttention 能把前缀 KV Cache 的复用率推到极高。这正是它被 DeepSeek 官方推荐的原因。

RadixAttention 到底省在哪​

传统推理框架里，每个请求都要为相同的前缀重复计算 KV Cache。SGLang 把已计算的 KV Cache 存进一棵基数树，新请求到来时先做前缀匹配，命中部分直接复用，只计算增量部分。社区实测数据显示：

场景	SGLang 缓存命中率	传统无前缀缓存方案
Few-shot 学习	85% 至 95%	接近 0
多轮对话	75% 至 90%	接近 0
RAG 共享文档	显著命中	接近 0

命中率直接转化为首 token 时延下降与吞吐提升。在重前缀负载的独立评测中，SGLang 相比 vLLM 有 29% 至 50% 的吞吐优势；而在单轮、无前缀共享的自由文本场景，两者差距很小，选型时要先看清自己的流量画像。

另外两个性能引擎​

零开销 CPU 调度器：传统调度是 CPU 准备批次、GPU 计算、再准备下一批的串行流程，GPU 在调度期间空转。SGLang 用流水线方式让 CPU 准备批次与 GPU 计算重叠，持续负载下 GPU 利用率可逼近满载。

结构化输出：Agent 应用要求模型严格输出合法 JSON。SGLang 把格式约束编译成有限状态机，每生成一个 token 都限制下一个可选 token 范围，从源头保证格式合法，避免了"生成后校验失败再重试"的浪费，底层通过 xgrammar 实现高速约束。

生产环境关键配置​

1. PD 分离：Prefill 是计算密集型，Decode 是访存密集型，两者资源画像冲突。SGLang 支持 Prefill/Decode 分离部署，通过 RDMA 高速网络连接，能显著降低每 token 平均生成时间并提升整体吞吐。DeepSeek 部署实践曾基于 96 张 H100 的 PD 分离加大规模专家并行，跑出接近官方报告的吞吐水平。
2. 显存与调度参数：结合业务上下文长度设置 max-total-tokens，避免 KV Cache 池过小导致频繁淘汰；高并发短输出场景可调大并行批处理窗口。
3. 硬件覆盖：SGLang 原生支持 NVIDIA、AMD、Intel Xeon、Google TPU 与昇腾 NPU，截至发稿社区数据显示其已在超过 40 万张 GPU 上运行，每天生成数万亿 token。
4. 版本管理：项目于 2025 年 3 月加入 PyTorch 生态，由 LMSYS 托管，迭代速度快、API 变动频繁，建议镜像锁版本，升级前跑回归。

实操建议​

上线前先统计业务的系统提示词与文档前缀重复度，重复度越高，SGLang 的相对收益越大。开启结构化输出时要给出精简的 JSON Schema，约束越细生成越快。如果团队已经在用 vLLM，可以按模型灰度切换并用同一套压测脚本对比 P99 时延与吞吐，用数据说话而不是跟风选型。

2026 年，AI 数据中心的版图不再由网络枢纽和人口中心定义，而是由电力、主权意志和资本规模定义。从中东的 HUMAIN 到印度的 Helios，从马来西亚的 AI 云协议到东京郊外的离网电厂，一场围绕"算力主权"的全球圈地运动正在展开，而背后是超大规模厂商 6500 亿美元级别的资本开支洪流。

全球建设版图：一张不断刷新的清单​

仅最近一个月，全球 AI 基础设施的建设动态就足以拼出一张新地图：

项目	位置	规模/合作方	状态
HUMAIN 等	沙特	AMD MI355X 系统参与	推进中
Helios 架构输出	印度	AMD 与 TCS 合作	推进中
美国主权 AI 工厂超算	美国	AMD 助力	推进中
Bitdeer AI 云协议	马来西亚	67MW（Data Center Dynamics，2026-10）	已落地
离网 AI 数据中心	东京附近（日本）	戴尔 + Jera + Rhaelm，150 亿美元 / 400MW	预计 2028 运营
ThisWay Global 设施	德州 Bryan（美国）	73MW	选址确定
Anthropic 自建数据中心	德州 Cedar Creek（美国）	3.66 亿美元报建	报建阶段

这份清单覆盖了中东、南亚、东南亚、东亚、北美五个区域，参与者横跨芯片厂商（AMD）、云与服务器巨头（戴尔）、能源公司（Jera）、矿业转型算力公司（Bitdeer）和前沿实验室（Anthropic）——AI 基础设施已经没有"行业边界"可言。

三种主权 AI 模式​

把上面的项目归类，可以看到主权 AI 的三种典型模式：

模式一：美国盟友输出​

沙特 HUMAIN 项目采用 AMD MI355X 系统，印度由 AMD 与 TCS 将 Helios 架构本地化落地——这类项目的共同点是由美国芯片厂商输出算力架构，盟友国家提供资金、能源和市场。对美国而言，这既是出口收入，也是技术生态的扩张；对合作国而言，这是最快获得前沿算力的路径。

模式二：能源换算力​

沙特是"能源换算力"的教科书案例：用低成本能源吸引 AI 基础设施落地。日本东京郊外的项目把这一逻辑推到极致——戴尔、日本能源公司 Jera 与英国 Rhaelm 合作建设 150 亿美元、400MW 的离网 AI 数据中心，配套自建燃气发电厂，预计 2028 年运营。电力不再是电网提供的输入，而是项目自带的资产。

模式三：自研自强​

华为昇腾路线代表的是第三种模式：不受制于美国芯片供应，用自己的芯片、自己的框架构建全国算力底座。这条路门槛最高，但自主性最强。

资本开支洪流：6500 亿与 10 万亿​

主权 AI 圈地运动的燃料是超大规模厂商的资本开支。2026 年的口径已经清晰：

口径	金额	备注
四大超大规模厂商 2026 年 capex	约 6500 亿美元	Amazon 约 2200 亿美元领投
五家合计（另一口径）	超 6900 亿美元	口径差异源于统计范围
IEEE/行业长期建设需求	约 10 万亿美元	数据中心建设总盘子
Anthropic 单笔报建	3.66 亿美元	德州 Cedar Creek
东京离网项目	150 亿美元 / 400MW	预计 2028 运营

Amazon 一家 2026 年就计划投入约 2200 亿美元，超过很多国家一年的基建预算。而 IEEE 及行业口径给出的 10 万亿美元数据中心建设需求，说明这轮建设周期可能以十年计——这不是一个短周期投资潮，而是一场持久的基础设施重置。

离网自建电厂成为新常态​

东京 400MW 离网项目和 Oracle 用燃气卡车维持数据中心运转的新闻，指向同一个趋势：电网已经跟不上 AI 数据中心的用电增速。离网自建电厂从"备选项"变成"新常态"，原因有三：

1. 电网接入排队周期长：大型数据中心动辄数百兆瓦，接入电网的排队时间以年计；
2. 电力成本成为运营命门：Oracle 靠燃气卡车运电维持运转，说明即便是巨头也在为电力稳定性付出高昂代价；
3. 选址逻辑彻底改变：数据中心选址从"网络枢纽、靠近用户"变成"电力洼地、能源便宜"——德州 Bryan 的 ThisWay Global 73MW 设施、中东的能源换算力项目，都是这个逻辑的产物。

对芯片选型的影响也很直接：在电力受限的环境下，单位功耗的算力产出（性能/瓦）权重急剧上升，液冷、低精度推理（FP4/FP8）和 rack-scale 方案成为标配。

小结​

主权 AI 的全球圈地呈现三种模式并行：美国盟友输出（HUMAIN、印度 Helios）、能源换算力（沙特、东京离网项目）、自研自强（昇腾路线）。支撑这一切的是 6500 亿美元级的年度 capex 和 10 万亿美元级的长期建设需求。最深刻的结构性变化是选址逻辑：从网络枢纽转向电力洼地，离网自建电厂成为新常态，Anthropic 自建数据中心则说明前沿实验室也在绕开云厂商直接下场。对从业者而言，评估 AI 基础设施项目的第一问已经从"带宽够不够"变成了"电从哪来、多少一度"。

当超大规模客户纷纷自研芯片，英伟达的应对不是把门关得更紧，而是把门框卖给所有人。Spectrum-X 与 NVLink Fusion 组成了一套精巧的双层策略：计算可以不是我的，但你的芯片必须接在我的网络上。

Spectrum-X：把以太网改造成 AI 网络​

传统以太网为吞吐优化，AI 集群需要的是无损、低熵的集合通信。Spectrum-X 的组合拳包括自适应路由、基于遥测的拥塞控制、RDMA 与 SuperNIC 端侧包重排序，官方目标是达到至少 95% 的有效带宽——而传统以太网在大规模 AI 负载下往往只能用到一半出头。

Spectrum-X 家族组件	定位与关键能力
Spectrum-X 以太网交换机	Scale Out 主干，800G 端口，自适应路由
Spectrum-XGS	跨园区扩展：距离感知的拥塞控制与负载均衡
Spectrum-X Photonics	共封装光学（CPO）：激光器数量减少约 4 倍、光网络功耗降低约 5 倍
ConnectX-9 SuperNIC	端侧 800G 及以上，配合包重排序
BlueField-4 DPU	从网络卸载扩展到 KV Cache 上下文存储（CMX），官方称 token 吞吐最高提升 5 倍

采用信号很有说服力：Meta 正在扩展基于 Spectrum-X 的 AI 负载，Oracle 在 OCI 上为大规模 AI 网络标准化选择 Spectrum-X，Cisco 与英伟达共建安全 AI 工厂参考设计。共封装光学已进入量产，用光互联的功耗红利去换取更多可分配给计算的瓦数——在 AI 工厂的电费账本里，这是实打实的 token 收益。

NVLink Fusion：把 Scale Up 域开放给对手们​

NVLink Fusion 于 2025 年 5 月 COMPUTEX 发布，逻辑是：第三方芯片只要集成 NVLink Fusion chiplet 与 NVLink-C2C 接口，就能接入英伟达的纵向扩展域和 MGX 机柜架构，获得最高每 XPU 1.8TB/s（新一代架构达 3TB/s 以上）的全对全带宽，以及 72 加速器的扩展能力。

伙伴类型	代表厂商
定制 CPU/XPU	联发科、Marvell、富士通、高通、Intel、SiFive、三星
设计服务与 IP	Alchip、GUC、Cadence、Synopsys
互联与光子	Astera Labs、Ayar Labs、Lightmatter
云厂商自研芯片	AWS（Trainium4）、Meta
推理芯片新贵	d-Matrix（Raptor XPU，2026 年 9 月宣布接入）

这步棋的防御逻辑值得细读：即使超大规模客户的加速层走向异构——AWS 跑 Trainium4、Meta 跑自研推理芯片——英伟达依然通过 NVLink 交换芯片、机柜架构与网络栈捕获价值。反向看，UALink 阵营试图以开放标准做同样的事，NVLink Fusion 则用成熟度和生态深度先发截流。对定制芯片公司而言，好处是现实的：不必重造 scale-up 互联和机柜设计，就能拿到接近英伟达原生的系统级带宽。

两层策略合起来看​

Spectrum-X 管 Scale Out（机柜之间、数据中心之间），NVLink Fusion 管 Scale Up（机柜之内），BlueField 与 CMX 管存储与上下文，Mission Control 管运维——英伟达正在把"AI 工厂操作系统"的每一层都做成可出售的基座。计算层越开放，网络与软件层的护城河反而越深。

小结​

对采购者的启示有二：其一，评估英伟达方案时，网络栈（Spectrum-X、BlueField、光学）应当与 GPU 一起核算 TCO，它们已不是配件而是性能变量；其二，自研或采用第三方芯片的团队，NVLink Fusion 提供了一条免建互联的捷径，但要清醒地认识到，接入它的代价是深度绑定英伟达的系统生态。开放是真的，方向也是被设计好的。

报价单上的 GPU 单价，通常只占三年总拥有成本的一半左右。电费、机房、冷却、折现和一系列隐藏项，才是采购决策里真正拉开差距的部分。

一、TCO 的五大组件​

一台 AI 服务器的三年总拥有成本，可以拆成五个部分：

1. 采购成本：GPU 卡 + 服务器节点 + 网络设备，一次性支出，不参与折现。
2. 电费：设备电耗 × 使用小时数 × 电价，三年里最大的持续支出之一。
3. 机房托管/租金：机柜租金或自建机房折算成本，按卡或按柜计费。
4. 冷却：风冷机房里冷却电耗约为设备电耗的 30%，液冷机房可压到 10% 左右。
5. 折现：未来三年的运营支出按年化折现率折算回今天的价值，让"三年合计"有可比性。

二、本站 TCO 计算器的默认口径​

为了让测算可复现，TCO 计算器采用了一套公开的默认口径：

• 实际功耗：不按 TDP 满负荷计，而是按"实际功耗 = TDP ×（空闲比 +（1 − 空闲比）× 使用率）"计算，空闲功耗比例默认 15%。
• 年电费：实际功耗 × 8760 小时 × 电价，电价默认 $0.1/kWh。
• 冷却：冷却电费 = 设备电费 ×（PUE − 1）。PUE 默认 1.3（风冷），液冷可设 1.1，极致方案 1.05。注意冷却单独列示、不再重复乘 PUE，避免双重计算。
• 折现：年化折现率默认 8%，按年末现金流口径折现；采购是一次性支出，永不折现。
• 集群口径：默认每 8 卡配一台服务器节点（约 $30,000/台），网络设备按 GPU 采购价的 12% 估算，千卡级集群另计每年约 $15 万的人力 OPEX。
• 汇率：人民币定价统一按 7.2 换算为美元。

三、实例测算：8 卡 B200 集群的三年 TCO​

以 B200 为例做一次文字推演。取站内卡口径：TDP 1,000W，市场价约 $42,000/卡；使用率取默认 90%，三年期。

一次性支出：GPU 采购 8 × $42,000 = $336,000；服务器节点 $30,000；网络设备按 12% 约 $40,300。合计约 $40.6 万。

年度运营：实际功耗 = 1kW × 8 ×（0.15 + 0.85 × 0.9）≈ 7.3kW；年设备电费 ≈ 7.3 × 8760 × $0.1 ≈ $6,400；冷却按 PUE 1.3 再加 30%，约 $1,900；机柜租金按 $500/卡·年 约 $4,000。年运营合计约 $12,300。

折现：8% 折现率下三年折现因子约 2.58，运营支出折现后约 $3.2 万。三年 TCO 约 $43.8 万（按 7.2 汇率约合 ¥315 万）——比单纯的采购价高出约三成，这还没算人力。拆成明细表更直观：

成本项	口径	金额（3年口径）
GPU 采购	8 × $42,000（市场价）	$336,000（一次性，不折现）
服务器节点	8 卡 × 1 台	$30,000（一次性）
网络设备	GPU 采购价 × 12%	约 $40,300（一次性）
设备电费	7.3kW × 8760h × $0.1	约 $6,400/年，折现后约 $16,500
冷却	设备电 ×（PUE 1.3 − 1）	约 $1,900/年，折现后约 $4,900
机柜租金	$500/卡·年 × 8	$4,000/年，折现后约 $10,300
合计	—	约 $43.8 万（≈¥315 万）

换成 Rubin R200 级别的旗舰方案，差距更夸张：单卡 TDP 1,800–2,300W 且必须液冷，NVL72 机柜功耗约 180kW，机柜定价 350–400 万美元。机柜电费按液冷 PUE 1.1 测算依然可观，这就是为什么"AI 工厂"的选址决策首先是电力决策。AMD MI455X 的 TDP 与定价均未公开，评估时建议按 Helios 机柜 225–245kW 的功耗上限做保守测算。

四、被忽略的隐藏成本​

公式之外的五类成本，最容易让预算失控：

• HBM 涨价传导：2026 年 HBM 供应紧张直接推高卡价——昇腾 950DT 渠道价超 ¥25 万（两个月内涨 20%–50%）、950PR 突破 ¥8 万、寒武纪思元690 上调 20%–30%。今天入库的价格，明年可能就是另一回事；连二手 A100 市场价（约 $28,000）都已远超当年 $15,000 的指导价。
• 供货周期：Rubin R200 自建机房用户要到 2027 年一季度才能采购，MI455X 规模爬坡要到 2026 下半年之后。等卡的每一天，都是空转的机柜租金。
• 软件迁移：从 CUDA 迁到 ROCm 或 CANN，即便有兼容层（CANN Next 官方口径约 80% 的 PyTorch 代码仅需改配置），工程师时间和调优成本也要折算进 TCO。
• 液冷改造：B300 Ultra TDP 1,400W 起就必须液冷，8 卡 DGX B300 峰值功耗约 14kW，相当于两台 H100 服务器。风冷机房升级液冷是一次性资本开支，很多预算模型里根本没这一项。
• 电力增容：Helios 机柜 225–245kW、NVL72 约 180kW，数据中心级部署往往需要电力扩容审批，周期以月计。

五、云租 vs 自建：决策框架​

本站 TCO 计算器内置了 Build-vs-Rent 模型，核心结论可以用一个公式概括：自建的每 GPU·小时成本 = 固定成本 ÷ 利用率 + 变动电费。它意味着：

• 利用率是分母：跑满的自建集群单位成本可能显著低于云价；利用率 30% 以下，自建几乎必然亏。公式还能解出盈亏平衡利用率——云价低于你的变动成本底线时，租赁恒优。
• 云价参照系：默认云价 $2.5/GPU·小时；实际行情中 H100 约 $2.00，B300 约 $8.00。拿你的负载画像去对号入座。
• 决策规则：稳定高负载（利用率 70% 以上）倾向自建；波动或探索期负载先云租；介于两者之间的，用计算器输入真实电价、租金和利用率跑一遍敏感性分析（电价 +20%、使用率 +20%、PUE 1.5 等情景）再做决定。

小结​

TCO 测算的价值不在于算出一个精确数字，而在于把"采购价幻觉"拆掉：一次性支出只占三年成本的一半到三分之二，电费与冷却跟随功耗走，折现让远期支出显形，而 HBM 涨价、供货周期、液冷改造这些隐藏项往往才是超预算的元凶。建议打开站内 TCO 计算器，用自己的参数实测一遍；型号规格可查阅完整对比表与各芯片卡页面。

过去选芯片看 FLOPS，后来大家学会了看显存带宽，现在该学会看第三个数字了：每瓦 Token 数。当机柜功率从 10 千瓦涨到 120 千瓦，电力与散热成了绕不开的第一约束——算力不再稀缺，供电才稀缺。

为什么 FLOPS 不再够用​

FLOPS 衡量的是计算上限，但 AI 芯片的能耗大头往往不在计算：数据搬运——尤其是 HBM 访问——的能耗比同规模运算高出数量级，这是业界公认的"内存墙"另一面。同样标称 1000 TFLOPS 的两颗芯片，若访存效率与互连设计不同，实际每瓦产出的 token 可能差出数倍。此外，token 产出还依赖模型结构、精度档位、batch 大小与软件栈质量，"每瓦 token 数"因此不是一个硬件常数，而是一组条件下的实测结果。

这也解释了厂商能效宣传的口径问题。以公开资料为例：NVIDIA 宣称 GB200 NVL72 机柜在 FP4 推理口径下，相比 H100 空冷基础设施有 25 倍的能效提升——这是厂商在特定负载下的对比数据，选型时应视为上限参考而非承诺值。值得注意的是，这 25 倍里既有芯片架构进步（FP4、新一代矩阵引擎），也有系统级因素（72 卡 NVLink 大域、液冷让算力密度上台阶），拆开看才不至于被单一代际数字误导。

一张对照表：用代理指标先筛一遍​

token 级能效必须实测，但选型初筛可以用"显存带宽功耗比"做代理指标——解码阶段带宽即吞吐上限，功耗即成本下限：

芯片	TDP	显存带宽	带宽功耗比（TB/s 每 kW，按公开规格推算）
H100 SXM	700W	3.35TB/s	约 4.8
H200	700W	4.8TB/s	约 6.9
AMD MI300X	750W	5.3TB/s	约 7.1
NVIDIA B200	1000W	8TB/s	约 8.0

推算显示代际间的真实进步：新平台的每瓦带宽确实在提升，且液冷平台（B200）在功耗上涨四成的同时把带宽功耗比再推高一截。但要强调，这只是一个维度的代理指标，训练场景、大 batch 服务、通信密集负载的能效排序可能完全不同。

把能效算进 TCO​

能效的最终归宿是钱。AI 工厂模式下，收入等于 token 产出乘以单价，而成本里电费与散热是随时间线性累积的部分。完整的算法是：先在相同模型、精度、batch 条件下实测各平台的 tokens 每焦耳；再乘以机房 PUE 与液冷改造成本——GB200 级液冷机柜功率达 120 至 130 千瓦（据公开报道），风冷机房无法直接承载，改造摊销要计入；最后换算成每百万 token 的能源成本。在电力配额受限的地区，"每瓦产出"直接决定同样一笔电力指标能支撑多少业务收入，这比芯片单价重要得多。

小结与实操建议​

能效选型三步走：第一，拒绝跨口径对比，要求供应商用你的模型与负载出实测数据；第二，用带宽功耗比等代理指标快速缩小候选名单，再压测验证；第三，把 PUE、液冷改造、电力供给一起纳入 TCO，而不是只看 GPU 采购价。一句话记住这把新标尺：FLOPS 决定你跑多快，每瓦 Token 数决定你能跑多久、赚多少。

大家习惯把"扩容慢"归咎于抢不到 GPU，但很多项目卡住的地方其实更靠上游：为一排排机柜供电的大型电力变压器，交付周期已经拉长到两年以上。算力竞赛的下一道闸门，是电网设备。

短缺有多严重​

据 Wood Mackenzie 2025 年报告，美国电力变压器需求自 2019 年以来增长约 116%，发电机升压变压器（GSU）需求更是暴增约 274%，远超本土产能。2025 年美国电力变压器供应缺口约 30%，配电变压器缺口约 10%。价格同步起飞：自 2019 年以来，电力变压器均价上涨约 77%，部分配电变压器品类涨幅接近翻倍。

交期是最直观的指标。大型电力变压器（100MVA 级以上）的交付周期自 2023 年起持续超过两年，2025 年二季度约 128 周（约 2.5 年），GSU 更是达到约 144 周。短缺的根源是结构性的：取向硅钢供应集中、熟练绕线工人短缺、产能扩张周期长达数年——新建一座变压器工厂从动工到满产要 18 至 24 个月，而全球大型变压器制造商不足 20 家。

一张交期对照表​

设备类型	当前典型交期	疫情前参考
中小型干式变压器（5 至 25MVA）	约 12 至 18 个月	4 至 6 个月
中型电力变压器（25 至 100MVA）	约 18 至 24 个月	6 至 12 个月
大型电力变压器（100 至 300MVA）	约 24 至 36 个月	12 个月左右
GSU 及特高压等级（300MVA 以上）	约 36 至 48 个月，个别报价更长	12 至 18 个月
中高压开关柜、断路器	普遍超过 1 年	3 至 6 个月
大容量 UPS / HVDC 电源	据业界经验值，数月至一年以上	数周至数月

对照 AI 数据中心的需求尺度：一座 100MW 的园区通常需要 4 至 6 台大型电力变压器加专用变电站，而全球数据中心正以每年超过 10GW 的速度新增。变压器成了名副其实的"绑定性约束"——GPU 一个季度就能到货，变压器可能要等它两年半。

扩容方的应对策略​

变压器短缺无法绕过，只能提前布局。实践中的有效做法有四条：第一，把电力设备采购从"项目立项后"提前到"用地锁定时"，头部厂商已开始提前三四年锁定产能槽位，通常需要一笔不可退还的订金；第二，多供应商资格认证，北美之外的中、印、欧供应商交期相近但价差可达两到四成；第三，评估翻新与二手设备渠道，经完整测试与翻新的大型变压器可把部署时间压缩到 6 至 12 个月；第四，与电网公司同步启动接入流程，现实中接入排队与变压器制造经常互为前置，串行等待是最坏路径。

UPS 侧的思路类似：与其挤大容量工频机产能，不如评估 HVDC（高压直流）架构——新一代 AI 机柜普遍转向 800V 直流供电，供电链路更短、设备更少，反而降低了在紧缺设备上的暴露面。

写在最后​

给正在规划扩容的团队三条建议：第一，把"电力设备交期"列入项目关键路径，与 GPU 排货同等优先级管理，变压器晚到一天，整座机房就晚一天产生收入；第二，做财务测算时预留设备涨价缓冲，按近年趋势变压器单价每年仍有约一成的上行压力；第三，有条件的园区自建或长租变电站预留容量，把"电网接入"从一次性博弈变成持续资产。算力竞争的上半场是抢卡，下半场是抢电。

每一颗AI加速器都绕不开台积电的晶圆。当AI需求以指数级膨胀，"把所有先进制程放在一座岛上"的地缘脆弱性就成了全球供应链最敏感的神经。台积电的答案是把厂搬出去——但搬出去的产能，和留在岛内的产能，并不是同一种产能。

扩建速度翻倍：18座工厂的全球棋局​

在2026年技术论坛上，台积电运营与先进技术工程副总经理田博仁表示，面对AI与高性能运算的强劲需求，公司正以过去两倍的速度加速扩建，全球范围内将新建与改造共计18座半导体工厂，其中包含5座先进封装厂。2025至2026年间，台积电每年可新建约9座工厂，较2017至2024年每年约4座的节奏翻倍。台积电同时预计，2022年至2026年间AI加速器晶圆需求将增长11倍，2纳米及更先进制程产能在2026至2028年的年复合增长率达70%。

海外基地	制程定位	最新进展
亚利桑那一厂	4纳米	2024年量产，2026年产能提升1.8倍
亚利桑那二厂	3纳米	主体完工，2027年下半年投产
亚利桑那三厂	2纳米级	2026年5月封顶
熊本一厂	22与28纳米	已量产，良率追平台湾厂区
熊本二厂	升级至3纳米	2025年动工建设
德累斯顿ESMC	28与22、16与12纳米	主体完工，目标2027年底投产

亚利桑那：AI 芯片的美国制造心脏​

亚利桑那是这场海外扩张的绝对重心。2026年5月，台积电核准在不超过200亿美元的额度内增资美国子公司，作为去年公布的1650亿美元全球扩建计划的提速动作。英伟达、AMD、苹果等主要客户已预订其产能，台积电还计划在现有基础上继续扩容，考虑使亚利桑那的晶圆厂总数达到8座、封装厂达4座，形成"超级晶圆厂"集群。

关键的战略指标是：未来台积电在美国的产能将占其全球2纳米及更先进制程的约30%。这对AI芯片供给意味着什么？英伟达与AMD最尖端的加速器晶圆将有三分之一产自美国本土，出口管制、关税与地缘风险对这部分产能的扰动模式将完全不同。值得注意的是，亚利桑那厂区已从此前累计约12.5亿美元的爬坡亏损（2021至2024年，据公开报道）转为单季盈利——2026年第一季度盈利约188亿元新台币，超过2025年全年总和。

熊本与德累斯顿：两种完全不同的海外逻辑​

日本熊本与德国德累斯顿的角色定位截然不同。熊本一厂目前量产22与28纳米，台积电披露2026年该厂28与22纳米产出将达2025年的20倍；二厂原本规划6纳米与7纳米，因AI需求强劲已升级为3纳米制程——这是熊本首次触碰先进制程。不过2026年7月底熊本发生的强震一度迫使JASM停工，虽然厂体无损，但也直观展示了"多元化"本身也会遭遇多元化风险。

德累斯顿则压根不是为AI而生。由台积电与博世、英飞凌、恩智浦合资的ESMC聚焦28与22纳米及16与12纳米制程，面向汽车与工业客户，欧洲芯片法案承担了接近一半的资本开支。它解决的是欧洲"汽车芯片完全依赖亚洲"的焦虑，而非AI算力的供给问题。

研判：先进制程的"去中心化"才刚起步​

读懂台积电海外布局的关键，是认清一个事实：目前最尖端的AI芯片制造主力依然留在台湾——2纳米大规模量产由新竹与高雄厂承担，海外产能要到2027年后才逐步接棒先进节点。海外建厂买的是地缘保险与客户信任，付出的则是建厂成本数倍于台湾、工程师与文化磨合的代价。对AI产业而言，未来三到五年会形成一个分层供给结构：美国负责最尖端制程的三成产能，日本承接先进与成熟制程的过渡带，欧洲专注车规与工业。供应链韧性在提升，但供给的定价权，依然牢牢握在新竹的排产会议桌上。