88 篇博文 含有标签「AI Infrastructure」

千卡以下可以拍脑袋，万卡规模必须算账。自建、租用、混合三种路线的资金量级差出一个数量级，本文把三本账摊开对比。

一、自建万卡：钱花在哪​

以 8 卡 HGX H100 服务器为例，2026 年海外 OEM 整机报价约 25 万至 32 万美元。一万张卡即 1,250 台服务器，仅 GPU 节点硬件就在 3.1 亿至 4 亿美元。这还只是起点：按 SemiAnalysis 的估算，每台服务器还要追加约 6 万美元的网络、存储与机柜配套；万卡集群的组网用 IB 交换机、光模块、分布式存储通常再占总投资的 15% 至 25%。此外，8 卡 H100 仅 GPU 满载功耗就达 5.6kW，整机按 8kW 计，一万张卡对应约 10MW 的 IT 负载，加上制冷冗余实际要按 12 至 15MW 规划变电站。多数城市拿到这个量级的电力指标，周期以年计。

自建的真实优势在于三点：规模化后的单位成本低（自持 H100 三年摊销的全成本可低到每卡时 1.35 至 1.92 美元）、数据完全可控、以及资产残值（三年后 H100 二手仍能回收两至三成价值）。代价是资金门槛高、建设周期长、以及技术迭代风险——Blackwell 与 Rubin 世代逐步铺开后，H100 的残值曲线会进一步下探。

二、租用万卡：单价与长协​

云端路线的公开价格区间如下。海外超大规模云厂商的 H100 按需价约每卡时 3.85 至 4.20 美元；AI 云（neocloud）约 1.99 至 2.59 美元；一年期长协可压到 1.45 至 1.85 美元。国内方面，第三方平台 H100 单卡时租报 28 至 35 元，部分渠道低至 9.5 元上下；A100 80G 约 16 至 22 元；4090 约 2 至 4 元。值得注意的是 2026 年供需趋紧，国内高端卡租赁价格年内整体上涨了约三成，H200 月租已到 6.7 万至 9 万元一台（8 卡）的水平。

路线	资金形态	每卡时成本（H100 口径）	建设周期	主要风险
自建万卡	一次性 3.5 至 5 亿美元，另加年度电力运维	约 1.35 至 1.92 美元（三年摊销）	12 至 24 个月	技术迭代、残值缩水、电力审批
全租（按需）	零 CAPEX，按量付费	1.99 至 4.20 美元	即时	价格上涨、资源被回收、限流
全租（长协）	年度承诺消费	1.45 至 1.85 美元	1 至 3 个月	违约金、利用率不足仍全额付费
混合	基线 CAPEX 加峰值 OPEX	综合约 1.6 至 2.2 美元	6 至 12 个月	调度复杂、两套运维体系

三、混合路线：多数公司的最优解​

实践中的最优解往往是"基线自建，峰值租用"。把长期稳定的负载（如在线推理、常态化实验）放到自建集群，把训练冲刺期、大版本迭代的峰值需求用云端弹性消化。判断混合比例的一个实用公式：自建规模 = 全年负载曲线的 P50 水位，超过 P50 的部分交给租赁。这样自建资产的利用率能稳定在 70% 以上——这正是自建成本优于按需租赁的盈亏平衡点（约七成利用率）。

规模在 1,000 至 3,000 卡之间的团队还有一条中间路线：整机柜租赁或"可搬迁"设备。国内市场已出现 910C 单台月租 5.8 万元、910B 系列 1.35 万至 1.9 万元的可搬迁报价，适合项目制团队按训练周期占有机柜而不用建机房。

四、结尾决策清单​

1. 训练需求不确定、产品未验证：全租按需，别买任何硬件。
2. 负载稳定、三年内确定持续投入、能拿到电力指标：自建，但按 P50 而非峰值规划规模。
3. 两者之间（多数公司）：混合路线，自建基线加长协兜底加按需峰值。
4. 国内团队拿不到进口卡：评估昇腾 910B 或 910C 的租赁与可搬迁方案，先跑通生态再谈规模。
5. 无论哪条路，签长协前先做一个月的真实负载压测，用实测利用率反推合同量——万卡规模下，15% 的利用率误差就是数千万美元的浪费。

"超大规模集群唯一确定的事，就是故障。"Meta 在 Llama 3 405B 训练论文里公布的 54 天故障账单，是目前最详实的万卡集群硬件运维样本。本文以它为底，聊聊 GPU 故障的真实分布、RMA 流程怎么设计、备件池要多大。

一份真实的故障账单​

Meta 用 16384 张 H100 训练 Llama 3 405B，54 天快照期内共发生 466 次任务中断：47 次是固件升级等计划内维护，419 次是意外中断——平均每天近 8 次，约每三小时一次。其中约 78% 归因于确认或疑似的硬件问题，尽管如此，团队仍把有效训练时间保在了 90% 以上，绝大多数故障由自动化系统处置，仅 3 次需要大量人工介入。

中断原因（419 次意外中断）	次数	占比
GPU 本体故障（含 NVLink）	148	30.1%
GPU HBM3 显存故障	72	17.2%
软件缺陷	54	12.9%
交换机与线缆	35	8.4%
计划外主机维护	32	7.6%
GPU SRAM 故障	19	4.5%
CPU、内存、SSD、电源等传统部件	合计不到 20 次	约 4%

结论很清晰：GPU 及其显存是绝对的第一故障源，两者合计占意外中断的近一半；而 CPU 这类传统部件在 54 天里只坏了 2 颗。GPU 承受 700W 高热应力，天然比 CPU 脆弱。

RMA 流程设计：快诊断比快换件更重要​

大集群 RMA 的瓶颈通常不在换件速度，而在定位速度。一个训练任务中断，可能是 GPU、NVLink、网卡、交换机或软件任意一环，逐台人工排查根本来不及。可落地的实践包括：

• 建立自动化诊断流水线：任务中断后，调度器自动拉黑可疑节点，用底层诊断工具跑 GPU 显存、NVLink、带宽压测，几分钟内给出"可复用、需复检、需换件"三级结论；
• 用 ECC 错误率做预测性维护：HBM 出现可纠正 ECC 错误的卡，故障概率显著高于基线，主动下线比等它崩溃成本低得多；
• 警惕静默数据腐蚀（SDC）：算错但不报错的卡最危险，定期跑 SDC 筛查基准，把"会算错的卡"挡在下一个任务之前；
• checkpoint 与快速重启是兜底：Meta 把 checkpoint 写入时间压缩到分钟级，配合 NCCL 飞行记录器快速定位 hang 住的任务，这才撑起了 90% 的有效训练时间。

备件池与厂商 SLA：谈判桌上见真章​

万卡集群的备件策略要按"故障率乘以修复时间"倒推。按公开数据粗算，万卡集群每月坏几十张卡属于正常范围，备件池比例通常在 1% 到 3% 之间，再配供应商的托盘级或整机级换件 SLA。谈判时重点盯三个数字：上门响应时间、备件本地库存深度、批量返修的周转周期。另据业界经验值，返修卡重新上线前必须过一遍完整的老化与 SDC 筛查，否则故障卡回流集群会形成"惯犯"。

写在最后​

给正在扩大集群规模的团队三条建议：第一，从第一天就把故障当常态设计，自动化诊断、自动拉黑、自动重调度是万卡集群的生存底线，人工工单撑不过千卡；第二，建立硬件健康档案，每张卡从上机起记录 ECC、温度与历史故障，RMA 决策基于数据而非感觉；第三，把 RMA SLA 写进采购合同并定期演练，别等坏了才知道厂商的"次日响应"是工作日口径。大模型训练的竞争力，一半在算法，一半在这些不起眼的运维流程里。

AI 让数据中心从"用电大户"变成"用电黑洞"，也让能耗指标从后台运维参数变成项目生死线。PUE、水效、绿电比例——这本越来越厚的碳账本，正在改写全球算力的地理分布。

PUE 红线：全球趋严的硬约束​

能效指标 PUE（数据中心总能耗与 IT 设备能耗之比，越接近 1 越高效）已经从推荐值变成准入门槛：

政策	核心要求	时间
中国《数据中心绿色低碳发展专项行动计划》	全国平均 PUE 降至 1.5 以内；新建大型与超大型降至 1.25；国家枢纽节点不高于 1.2	2025 年底
中国部分地区要求	北京等地新建、扩建数据中心 PUE 上限低至 1.15 至 1.3，能耗规模越大要求越严	2023 年起
德国《能源效率法》	新投运数据中心 PUE 不高于 1.2	2026 年 7 月起
欧盟能效指令	500kW 以上数据中心逐年报告 PUE、水效与可再生能源比例，能效评级体系已启动	持续推进

欧盟正在从"报数据"走向"定门槛"：2026 年 9 月，欧委会启动数据中心能效评级，未来最低性能标准预计将为行业留出数年达标期，避免在建项目迅速过时。中国则是少数把能耗作为项目审批前置条件并写入强制性国标的国家——2021 年实施的《数据中心能效限定值及能效等级》将 PUE 1.5 设为能效限定值，2026 年"算电协同"更被写入政府工作报告，绿电直供与源网荷储一体化成为新基建的明确方向。

从 PUE 到全维度碳账本​

单一 PUE 已不足以刻画 AI 数据中心的资源足迹。ISO/IEC 30134 系列标准建立起了多维评价体系：

• WUE（水利用效率）：中国进一步按水源类型加权折算出评价值，最严的一级标准要求不高于 0.8 升每千瓦时；
• REF（可再生能源系数）与 CUE（碳利用效率）：把绿电消纳与碳排放纳入统一框架；
• 绿电硬约束：据公开报道，中国八大"东数西算"枢纽节点新建与扩建数据中心的绿电消费比例须达到八成，以绿证核算并实行一票否决，未达标项目不予能耗审批。

技术上，液冷是压低 PUE 的主力：冷板式方案可将 PUE 降至约 1.15，浸没式可压到 1.05 以下，国内厂商的相变浸没方案据称最低可达 1.035。英伟达 GB 系列及之后的产品已全面采用液冷架构——当 PUE 的分子端（制冷开销）被压缩到一成以内，单靠设施侧优化能做的已经不多。

绿电与选址：碳账本决定算力地图​

设施侧逼近极限之后，碳账本的下一页翻向电力来源。国际市场上，谷歌、微软等巨头与核电、水电、燃料电池供应商签订大规模长期购电协议，把电力保障前置为战略资源。中国西部枢纽节点的绿电直供电价据报低至每度 0.28 至 0.36 元，叠加"东数西算"的土地与能耗指标优势，构成东部需求与西部绿电的双赢闭环，同时也消化了风电光伏的弃电难题。选址逻辑由此彻底改写：算力跟着便宜且干净的电走，而不是反过来。

结语：把碳算清楚，才能把算力建起来​

绿色算力的本质，是给每一枚 token 定价时不回避其能耗与排放成本。对从业者而言，三个趋势已经确定：PUE 优化将逼近 1.1 的工程极限，此后竞争转向电力来源与余热利用；能耗与水耗指标将深度嵌入项目审批与融资定价；跨国部署必须同时满足多套监管口径。算力建设的竞争，正在从"建得快"转向"建得绿、建得起、批得下"——碳账本上的每一行，都是下一座 AI 工厂的选址依据。

当 AI 竞争的单元从单颗 GPU 升级为整个机架，机架架构就成了新的战场。AMD 的答案叫 Helios：72 颗 MI455X、18 颗 EPYC Venice、31TB HBM4，外加一条与 NVIDIA NVLink 完全不同的开放互联路线。本文拆解它的技术细节、工程约束与商业兑现节奏。

从 GPU 到机架：AI 基础设施的竞争单位变了​

大模型训练与推理的规模已经远远超出单卡甚至单服务器的能力范围。万亿参数模型的训练需要数百到数千颗 GPU 高速协同，推理集群则要求在机架级完成模型分片与流量调度。于是 NVIDIA 用 NVLink 与 NVL72 把竞争拉到了机架层，而 AMD 在 2026 年 1 月的 CES 上给出了自己的回答——Helios，并在 Advancing AI 2026 上确认了完整规格。

Helios 的核心配置一目了然：

组件	配置
GPU	72 颗 MI455X（CDNA 5，每颗 432GB HBM4）
CPU	18 颗 EPYC "Venice"（Zen 6，最高 256 核）
AI 网卡	Pensando Vulcano 800G AI NIC
HBM4 总容量	31TB
FP4 推理算力	2.9 EFLOPS
FP8 训练算力	1.4 EFLOPS
每 GPU 显存带宽	23.3TB/s
Scale-up 总带宽	260TB/s
Scale-out 带宽	43TB/s（较竞品多 50% 以上）

单机架 2.9 EF FP4 的推理算力意味着，一个 Helios 机架可以完整运行 700B 级模型；31TB HBM4 则为超长上下文、多模态与 MoE 架构提供了充裕的显存池。

三级部件：MI455X、Venice 与 Vulcano​

Helios 的性能来自三个部件的协同设计。

MI455X 是算力核心。每颗 GPU 基于 CDNA 5 架构，采用台积电 N2 计算芯粒加 N3P I/O 与缓存芯粒的混合封装，3200 亿晶体管，432GB HBM4 配 23.3TB/s 带宽，MXFP4 算力 40 PFLOPS 级。72 颗的规模使其成为目前单机架密度最高的 AI 算力方案之一。

EPYC Venice 是主机侧大脑。这款全球首款 2nm 数据中心 CPU 基于 Zen 6 架构，最高 256 核、1GB L3 缓存、16 通道内存提供 1.6TB/s 带宽，CPU 到 GPU 互联带宽是上一代的 2 倍。在 Helios 中，每托盘 4 颗 GPU 配 1 颗 Venice，18 颗 CPU 负责数据搬运、内存管理与系统调度。

Pensando Vulcano 是网络出口。800G AI NIC 负责 scale-out 侧的横向扩展，前代 Pollara 400G 已在 MI300 系列上验证了 AMD 网卡路线，Vulcano 将单卡带宽翻倍，并深度配合 UALink 协议栈。

UALink over Ethernet：开放互联路线的技术选择​

Helios 最具战略意义的设计是互联方案：采用 UALink over Ethernet（UALoE）实现 scale-up 纵向扩展，单 GPU 纵向扩展带宽 3.6TB/s，横向扩展 600GB/s（由三块 800G Vulcano NIC 提供）；整个机架的 scale-up 总带宽达 260TB/s，scale-out 达 43TB/s——后者比同级竞品高出 50% 以上。

UALink 是 AMD 联合 Broadcom、Intel 等共同推动的开放标准，目标是打破 NVLink 的封闭生态。选择"UALink 跑在以太网上"而非另起炉灶的专有协议，有三层考量：

1. 生态复用：数据中心以太网的技术栈、运维体系与供应链已经高度成熟，复用以太网物理层可以大幅降低部署门槛。
2. 供应商多元：开放标准意味着交换芯片、网卡、线缆可以有多个供应商，客户不再被单一家族的网络产品绑定。
3. 与 OCP 协同：UALink 与 OCP 的机架规范天然衔接，形成从芯片到机柜的完整开放栈。

与之对照，NVIDIA 的 NVLink 路线追求极致的私有优化——每 GPU 互联带宽更高、协议延迟更低，但代价是生态锁定。两条路线的胜负，取决于开放生态的成熟速度能否追上垂直整合的性能优势。

44OU ORW 机架：被物理约束塑造的工程设计​

Hot Chips 2026 上披露的机架工程细节，展示了巨型 AI 系统在数据中心物理约束下的真实样子。

工程维度	Helios 机架参数
机柜规格	44OU ORW 双宽机架（Open Rack Wide v3）
托盘布局	18 个计算托盘 + 6 个交换托盘
散热	全液冷 + 液冷快速接头
供电	50V 直流母线
整机重量	超过 7000 磅

这组数字背后是严酷的物理现实。72 颗高功耗 GPU 加 18 颗 CPU 使机架功率达到 225-245kW，传统风冷在如此功率密度下已经无能为力，全液冷成为唯一选项，液冷快速接头则是为了支持托盘级热插拔维护——在价值 500 万美元以上的机架中，停机时间就是真金白银。

50V 直流母线的选择同样有讲究：相比传统交流配电，直流母线减少一次 AC-DC 转换损耗，且在高功率密度下配电铜排更省空间。而超过 7000 磅的整机重量，则意味着数据中心的地板承重、搬运路线乃至建筑结构都需要为此重新评估——这也是它与 Meta 共研 ORW（Open Rack Wide）设计的意义：让宽体机架成为行业可复用的开放标准，而不是每家云厂商各造一套。

量产节奏与客户版图​

Helios 的交付节奏已经进入兑现期：2026 年 7 月开始量产，Q3 末首批出货，Q4 放量。客户侧的版图同样清晰：

• 微软：2026 年 7 月宣布扩大合作，在 Azure 大规模部署 Helios 机架级系统，明确用于前沿模型推理而非训练。
• Oracle：被列为 Helios 早期采用者。
• OpenAI：6GW 级合作协议，首批 1GW 基于 MI450 系列，计划 2026 年 Q4 启动 Helios 规模化上架，2027 年进入加速投放周期。
• Meta：最多 6GW 的 AMD GPU 部署计划，正测试 Helios 机架与第六代 EPYC，并与 AMD 共研基于 MI450 架构的定制加速器。
• TCS：将 Helios 带到印度市场。
• HPE：开放机架合作，加入 Dell、Supermicro、Lenovo 的 OEM 阵容。
• 主权 AI：Helios 平台也将助力美国主权 AI 工厂超算建设。

OpenAI 与 Meta 合计 12GW 以上的合作规模，是检验 Helios 商业模式的试金石。AMD 用认股权证与战略投资绑定头部客户的模式（如向 OpenAI 发行最多 1.6 亿股认股权证），本质是把未来收入与客户增长深度绑定——如果兑现，AMD 将在 AI 加速器市场获得实质性的第二供应商地位。

小结​

Helios 不只是一台更大的机柜，而是 AMD 对 AI 基础设施的一次完整表态：用 UALink 与 OCP 的开放标准对抗 NVLink 的垂直整合，用显存容量与 scale-out 带宽的数字优势切入推理市场，用与 Meta 共研的 ORW 机架设计把工程经验沉淀为行业规范。7000 磅的重量、50V 直流母线与全液冷快速接头提醒我们，AI 竞争已经深入到供电、散热与承重这样的物理细节。接下来真正的问题只有一个：6GW 订单的兑现节奏，能否跟上纸面参数的漂亮程度。

作为全球 AI 生态活力第三的国家，印度正试图回答一个问题：一个拥有庞大开发者群体却几乎没有先进芯片制造能力的国家，如何建立自己的主权算力体系。

IndiaAI 使命：算力、模型与数据三条线并进​

IndiaAI 使命于 2024 年 3 月获批，五年总预算约 10372 亿卢比（约 12 亿美元量级），算力是其第一根支柱。据印度政府向议会提交的说明，共享算力设施接入的 GPU 数量从 2026 年 3 月的超过 3.8 万张增长到 6 月的超过 4.5 万张，通过算力门户以补贴价格向初创公司与学术界开放；截至 2026 年 8 月，已有 237 个项目获批使用补贴算力，累计核销超过 9318 万 GPU 小时。政府还为新德里 NIC 数据中心下单了一套约 1.1 EFLOPS 的高性能 AI 计算系统。

模型侧，官方从 506 份申请中遴选出 20 个本土基础模型提案，包括 12 个大型多模态模型与 8 个小型语言模型。已发布的成果包括 Sarvam AI 的 300 亿与 1050 亿参数模型、BharatGen 的多语言模型系列等。数据平台 AI Kosh 已汇聚超过 1.4 万个数据集与 331 个 AI 模型。据斯坦福 2025 年全球 AI 活力报告，印度 AI 竞争力与生态活力位列全球第三，GitHub AI 项目贡献量全球第二。

印度主权算力关键指标	数据（截至 2026 年）
IndiaAI 使命预算	约 10372 亿卢比（五年）
共享算力池 GPU	超过 4.5 万张
获批使用算力的项目	237 个，9318 万 GPU 小时
本土基础模型提案	20 个（12 个多模态、8 个小模型）
半导体项目	12 个，投资承诺超 1.64 万亿卢比
数据中心装机容量	从 2020 年 375 兆瓦增至约 1575 兆瓦

Semicon 2.0：从政策框架走向制造落地​

芯片制造是印度算力主权的另一半拼图。Semicon 1.0 以 7600 亿卢比构建生态，已批准 10 个半导体制造单元，其中 1 个实现商业量产、3 个进入试产；塔塔电子在古吉拉特邦的晶圆厂投资达 91526 亿卢比量级，目标产能每月 5 万片，覆盖 28 纳米至 110 纳米节点。2026 年 7 月获批的 Semicon 2.0 将投入提升至 127500 亿卢比，重点扩展芯片设计、设备材料、先进封装与人才培养。

设计生态的积累同样值得注意：根据设计挂钩激励计划，24 个芯片设计项目获资助，103 家无厂设计公司获得 EDA 工具支持；截至 2026 年 4 月，75 家机构已完成 211 款芯片流片，其中 7 款成功制造，涵盖包括台积电 12 纳米在内的多个工艺节点。国家超算任务下，基于 RISC-V 开源指令集的本土处理器、GPGPU 与加速器研发也在推进。此外，印度在 2026 年印度 AI 影响力峰会上加入了 Pax Silica 联盟，与美国等伙伴共同维护硅供应链安全。

小结​

印度的算力自主战略呈现清晰的双层结构：短期用共享算力池和补贴模式满足爆发性的训练需求，长期则通过半导体制造与设计激励培育本土供应链。考虑到其 GPU 目前几乎全部依赖进口，真正的主权算力仍需多年建设，但从流片数量、产能落地到基础模型涌现，这条路径的每一步都在提速。对于观察全球 AI 芯片格局的产业人士而言，印度是继中日韩之后最值得跟踪的变量。

很多团队上线推理服务后都遇到同一个困惑：平均延迟 200ms，用户却总抱怨"卡"。答案是尾部延迟——决定体验的是最慢的那 1% 请求。本文从 P99 说起，聊推理服务 SLA 与弹性扩缩容的生产实践。

先把指标定对​

对话式 LLM 服务的延迟要拆成两段看：TTFT（首 token 时间）决定"反应快不快"，decode 吞吐决定"打得快不快"。对交互式应用，业界常见的 SLO 是 P99 TTFT 控制在数百毫秒以内；对异步批处理任务，可以放宽到秒级换取更高吞吐。这里有个经典陷阱：平均延迟掩盖问题。一个把平均响应时间改善四成、却把 P99 恶化两成的版本，对最差的那批用户就是明确的回归，上线前必须对比优化前后的分位数。

核心指标	含义	实践建议
P99 TTFT	首 token 时间的 99 分位	主 SLO 指标，超标持续 60 秒即告警
每池队列深度	等待 prefill 或 decode 槽位的请求数	容量压力最早的信号，作为扩容主信号
每卡 tokens 每秒	吞吐效率	请求量稳定但该值下滑，警惕 KV cache 抖动
KV cache 命中率	前缀缓存复用比例	据公开经验，低于三成需检查缓存配置
每千 token 成本	财务 SLO	按模型版本跟踪，捕捉上线后的成本回归

为什么不能按 GPU 利用率扩容​

传统 HTTP 服务按 CPU 利用率扩容的经验，在 GPU 推理上会系统性失效，原因有三：第一，GPU 利用率是滞后指标，等利用率冲高时队列早已堆积，尤其 decode 阶段是访存瓶颈，利用率与压力并不同步；第二，冷启动太慢，GPU 推理副本从调度到可服务要 30 至 90 秒，加载 70B 级模型权重可能要十几分钟，而流量尖峰 60 秒就冲过去了——扩容动作永远追不上尖峰；第三，张量并行组必须整体伸缩，2 卡 TP 组加 1 卡毫无意义，扩缩容要以完整模型实例为单位。

正确的主信号是队列深度：在请求开始排队之前扩容，而不是之后。再叠加预测性伸缩——推理流量有极强的日周期与周周期规律，提前 15 分钟预热远比事后追赶便宜。

分池调度与冷启动治理​

生产级方案通常把 prefill 与 decode 拆成独立资源池分别伸缩：流量突发时先扩 prefill 池（TTFT 恶化的元凶），decode 吞吐下滑时再扩 decode 池，混在一个池里互相挤兑是最常见的过度供给原因。入口层还要做准入控制：设置最大队列深度，超限返回 429 加 Retry-After 头，而不是让队列无限增长拖垮所有请求；再按租户做令牌桶限流，防止单个大客户的突发流量劣化全平台的 P99。

冷启动治理三板斧：保持至少 1 个热副本避免缩容到零；对必须缩到零的场景，用每 30 至 60 秒一次的保活探测或启动后的预热接口提前加载权重与 KV cache；LoRA 适配器在启动时预加载而非首次请求时加载。热池的代价据公开经验约为峰值算力的两到三成，这通常比尖峰时刻的 SLA 违约便宜得多。引擎侧选用基于 PagedAttention 与连续批处理的方案（如 vLLM），据公开评测可带来 2 倍以上的 P99 改善，是杠杆率最高的单项优化。

写在最后​

三条落地建议：第一，SLA 按 TTFT 与 decode 分段定义，全部用分位数告警，并把每千 token 成本与产品指标放在同一张大盘上；第二，扩缩容以队列深度为主信号、预测性伸缩为辅，按 prefill 与 decode 分池管理；第三，每次变更前后跑同一并发水位下的负载测试，验证 P99 而非平均值。推理服务的竞争力，最终体现在最慢的那 1% 请求上。

当单芯片晶体管增速放缓，算力的增长叙事就从"更快的芯片"变成"更多的芯片"——而把几百上千颗芯片粘成一台计算机的那根线，正成为 AI 基础设施竞争最激烈的一层。

为什么 scale-up 互联成为新战场​

大模型训练与推理的本质是大量芯片协同计算，芯片间每次交换数据都要经过互联网络。互联带宽决定了两件事：并行扩展效率（加卡能换来几成算力）和内存池化能力（跨卡显存能否当作一块用）。华为马尔科夫实验室的仿真给过一个直观口径：传统 8 卡服务器组网下，集群内通信占训练时间超过 40%；换成大规模超节点组网后 MFU 可提升 2.75 倍——互联不是配套件，而是算力本身。

于是"机架级计算"成为 2026 年的主流形态：NVIDIA 的 NVL72、AMD 的 Helios 72 卡机架、华为的 4096 卡超节点，都是在互联层下注。四方标准就此正面相遇。

四方标准对比表​

维度	NVLink 6（NVIDIA）	UALink / UALoE（AMD 阵营）	Ultra Ethernet（UEC）	灵衢 UnifiedBus（华为）
单卡带宽	Rubin R200 单 GPU 3.6TB/s	MI455X 单 GPU scale-up 3.6TB/s（UALoE）；横向扩展 600GB/s	以太网生态扩展，43TB/s 级机架出口	昇腾 950/960 单卡 2TB/s
机架级带宽	NVL72 总计 260TB/s	Helios 72 卡 scale-up 约 260TB/s、scale-out 43TB/s	以太网交换机标准演进	960 超节点 4096 卡，RTT 2μs
开放度	NVLink Fusion 向伙伴开放集成自定义 CPU/芯片	UALink 开放规范，UALoE 走以太网物理层	开放联盟，多厂商互通	开放灵衢 2.0 总线生态，自研为主
生态绑定	深度绑定 CUDA	绑定 ROCm + OCP 开放标准	生态最广、厂商中立	绑定 CANN/MindSpore
代表系统	Vera Rubin NVL72	AMD Helios（Open Rack Wide v3）	UEC 联盟成员网络	Atlas 960 超节点

两组数字颇有意味：NVIDIA 与 AMD 的单 GPU scale-up 带宽同为 3.6TB/s，72 卡机架级 scale-up 带宽同样约 260TB/s——在纵向扩展这一层，两条路线的物理指标已经打平，胜负手转向开放度与生态。

开放标准与垂直整合的两条路线​

NVIDIA 走的是垂直整合加有限开放：NVLink 6 从交换芯片到拓扑全部自研，NVL72 的 260TB/s 全互联带宽是系统级护城河；但 NVLink Fusion 开始向合作伙伴开放，允许第三方把自定义 CPU、加速芯片接入 NVLink 域——既保住标准控制权，又吸纳外部设计。

AMD 走的是彻底的开放标准路线。Helios 机架基于 OCP 的 Open Rack Wide v3 规范（ORW 设计与 Meta 共研），互联组合是 Infinity Fabric + UALink + Ultra Ethernet，配自研 Pensando Vulcano 800G 网卡；MI455X 的 UALoE（UALink over Ethernet）干脆把 scale-up 流量架在以太网物理层上，让客户用标准以太网设备搭建 260TB/s 的纵向扩展域。UEC 则从横向扩展切入，目标是让万卡级集群的跨机网络也走开放以太网。

华为灵衢是第三条路：自研协议、开放生态。灵衢 2.0 总线支撑昇腾 950 的 2TB/s 单卡互联与 1024 卡超节点，昇腾 960 超节点用"灵衢 + Hi-ONE 光引擎"做到单节点 4096 卡、1PB HBM、RTT 2μs，多节点经灵衢网络组网最大 51.2 万卡，叠加多轨道拓扑可达 100 万卡集群——在规模上限上反而是四者中最激进的。

Token Fabric 的"中立性"悖论​

2026 年 10 月 8 日，多厂商互联平台 Upscale AI 发布 Token Fabric，NVIDIA 也出现在投资方名单里。它试图提供一个厂商中立的机架级互联方案，让不同家的加速器共处一个 scale-up 域。

但这里存在一个悖论：真正需要中立方（被 NVLink 锁定的二线芯片厂商）欢迎它，而制定标准的头部厂商（正是 NVLink、UALink、灵衢的持有者）都有动机让它名存实亡。NVIDIA 参投 Token Fabric 更可能是防守性布局——与其被排除在开放阵营外，不如进去施加影响。互联标准的"中立平台"能否存活，取决于超大规模云厂商是否愿意为去锁定支付溢价；从 OCP 阵营的扩张速度看，至少在 AMD Helios 这类系统上，开放路线已经拿到了第一个规模化验证。

给采购方的评估维度​

面对四方标准，采购方可以用四个维度打分：一是 scale-up 域内的有效带宽与扩展效率（MLPerf 等实测口径，Rubin NVL72 在 288 卡演示中达到 99% 扩展效率）；二是内存池化能力——互联是否支持跨卡统一编址，这直接决定超大模型的部署方式；三是生态绑定成本——CUDA/ROCm/CANN 的迁移代价往往比硬件差价更大；四是供应链弹性——开放标准（UALink/UEC/OCP）意味着多供应商议价权，垂直整合意味着更紧的集成但更少的集成风险。

小结​

互联标准的四方博弈，本质是三种产业模式的对撞：NVIDIA 的垂直整合加 NVLink Fusion 有限开放，AMD 阵营的 UALink/UEC/OCP 全开放路线，华为的自研灵衢加超节点规模策略。物理指标上单卡 3.6TB/s、机架 260TB/s 已成 2026 年的"对齐线"，下一阶段的差异化将来自光互联（Hi-ONE 的 NPO 路线）和内存语义扩展。对采购方而言，标准之争没有旁观席——今天选的互联，决定了未来五年被谁的生态锁定。

过去三年，模型参数增长了 240 倍，集群规模扩大了 10 倍，而互连带宽只提升了 2 倍——Lightmatter 创始人 Nick Harris 用这组数字解释为什么光必须进入 AI 集群。

为什么是现在：电互连的"海岸线"困境​

现代 AI 芯片的全部 I/O 都挤在裸片边缘，业内称之为"海岸线"（shoreline）限制：裸片面积在变大，边缘周长的增长却远跟不上 I/O 需求。同时，电信号的传输距离与带宽密度受物理规律约束，scale-up 域被锁死在单机架范围内，GPU 集群大量时间在等待数据。Lightmatter 的核心思路是：用光子取代铜线，并把光 I/O 从"边缘"搬到"整个裸片表面"——所谓的无边 I/O（edgeless）架构，让带宽随面积而非周长扩展。

三种进入方式：光源、共封装、光子中介层​

Lightmatter 的产品矩阵正好对应光进入集群的三条路径：

产品	形态	关键规格	状态
Guide 光引擎	大规模光子光源（VLSP）	16 波长，单光纤 800G，波长精度正负 20GHz	已发布
Passage L20	共封装光学入门方案	聚合带宽 12.8 Tbps，可插拔密度 4 倍	2026 年上市
Passage L200 与 L200X	3D 共封装光学（CPO）	32 至 64 Tbps 双向带宽，320 个 SerDes，单光纤最高 1.6 Tbps	2026 年上市
Passage M1000	3D 光子中介层超级芯片	114 Tbps 总光带宽，4000 平方毫米，256 根光纤，1.5kW 供电	2025 年夏季推出

三条路径解决的问题不同。Guide 光引擎为整个光子产业提供稳定光源，是生态层面的布局；L200 系列瞄准交换芯片与下一代 XPU 的共封装，用 UCIe 标准接口实现芯片粒集成，与 Alphawave 合作提供 SerDes IP；M1000 则最为激进——它是一块可重构波导网格的三维光子中介层，让数千颗 GPU 进入同一互连域，据称可将万卡级集群的 scale-up 域扩大 8 倍，万亿参数 MoE 模型的训练时间缩短约 2.7 倍。

资本与产业风向​

Lightmatter 2017 年从 MIT 分拆而来，2024 年 10 月完成 4 亿美元 D 轮融资，估值达 44 亿美元，累计融资 8.5 亿美元，是硅光赛道估值最高的公司之一。制造侧与 GlobalFoundries（Fotonix 硅光平台）、台积电、Tower、Amkor、ASE 等深度合作。

值得注意的行业信号是：2026 年，Marvell 宣布以约 55 亿美元收购硅光初创 Celestial AI（据公开报道），大厂开始用并购押注光互连——这与博通在 CPO 上的持续投入相呼应。光互连已从论文选题变成 AI 基础设施军备竞赛的一环。

小结与建议​

光子不会取代电子计算，但它正在接管计算之间的高速公路。对云厂商与 AI 数据中心规划者，建议关注三个节点：其一，Passage L200 的 2026 年量产进度，共封装光学是短期内最现实的落地形态；其二，M1000 级光子中介层能否真正进入 XPU 设计流程；其三，UCIe 等开放标准与光互连的融合程度。互连正在成为 AI 集群的第一性约束，光进群的速度，可能决定下一代超大规模训练的经济性。

十年前一个标准机柜 5-10kW，风冷绰绰有余；今天 Vera Rubin NVL72 约 180kW，AMD Helios 机架 225-245kW，下一代 Rubin Ultra NVL576 更是直指 600kW。散热从"机房辅助工程"升格为"AI 算力的第一性约束"，一场从风冷到液冷的革命已不可逆。

为什么风冷在 100kW+ 机柜面前失效​

风冷的物理极限很好理解：空气比热容小、密度低，带走同样热量需要的体积流量巨大。机柜功耗超过 100kW 后，风冷会同时撞上三堵墙：

1. 风量墙：单机柜 100kW 需要的冷风量超出地板下送风与机柜前门的物理供给能力，冷热气流短路、局部热点不可避免；
2. 噪音与能耗墙：暴力风扇转速拉满，风扇功耗可占整机 10% 以上，机房噪音远超职业健康标准；
3. 芯片密度墙：单卡 TDP 已从 H100 的 700W 涨到 Rubin R200 的 1800-2300W——这个量级的芯片，散热器与芯片之间的空气层本身就是绝热层，风冷在物理上无法把 2000W 从 die 表面带走。

结论很直白：当单卡功耗突破千瓦级、机柜突破百千瓦级，液冷不再是选项，而是必需品。NVIDIA 对 Rubin R200 的官方口径就是四个字——必须液冷。

机柜功耗演进：五年 100 倍的狂飙​

平台	机柜功耗	散热方式
传统服务器机柜	5-15 kW	风冷
GB300 NVL72	~140 kW	液冷为主
Vera Rubin NVL72（VR200）	~190-230 kW	全液冷
Rubin Ultra NVL576	~600 kW	全液冷 + 新一代供电

这条曲线（Thunder Compute 汇总口径）解释了为什么整个产业链都在围绕散热重构：机柜每上一个台阶，供配电、冷却水路、机房承重全部要重新设计。值得一提的是，散热还有"另一种解法"——华为昇腾 960 超节点用 NPO 光互连替代 4.8 万颗 800G 光模块，直接省下 550kW：最好的散热，有时是不产生这份热量。

技术梯队：冷板、浸没式与侧门冷却​

液冷按冷却介质与发热元件的距离分为三档：

技术方案	原理	散热能力	改造成本	成熟度
冷板液冷	冷水板贴住 GPU/CPU 等高热元件	单柜 100-300kW	中	主流量产方案
侧门冷却（Rear Door HX）	机柜后门内置水冷换热器冷却排风	单柜 50-150kW	低	过渡方案
浸没式液冷	整机浸入介电液体	极高，且可回收余热	高	特定场景试点

当前产业主流是冷板液冷：GPU、CPU 等热源元件用冷板覆盖，其余内存、硬盘仍靠风冷辅助，形成"液冷为主、风冷兜底"的混合形态。它的优势是可以在现有服务器形态上渐进改造，且不改变元器件可维护性。浸没式散热能力天花板最高、PUE 可逼近 1.05，但介电液体成本、服务器浸入后的可维护性与承重要求，使其仍局限于特定高密度场景。侧门冷却则是风冷机房"续命"的过渡选项。

50V 直流母线与液冷快速接头：工程细节里的魔鬼​

散热革命从来不只是"换水冷板"，它牵动整机柜的供电与水路重构。AMD Helios 机架的工程细节最具代表性：

• 44OU ORW 双宽机架：采用 Open Rack Wide v3 标准，机架宽度加倍，为 72 颗 MI455X + 18 颗 EPYC Venice 留出空间；
• 18 个计算托盘 + 6 个交换托盘：计算与网络托盘分层布置，托盘化设计让故障节点可整体抽出更换，水路随托盘断开；
• 液冷快速接头：每个托盘使用免工具快速接头，拔插自动密封不漏液——这是液冷能否规模化运维的关键：机房不可能为换一张卡而整体排水；
• 50V 直流母线：整机柜采用 50V 直流配电架构，替代传统多级 AC-DC 转换，减少变换级数、提升供电效率，与 NVIDIA 侧的 800V HVDC 演进方向殊途同归；
• 重量超 7000 磅（约 3.2 吨）：装满冷却液与 72 颗 GPU 的机架对机房楼层承重提出全新要求，液冷机柜的"体重"本身就是部署约束。

Helios 机柜 TDP 225-245kW，与 Vera Rubin NVL72 的约 180kW 处在同一量级——头部厂商已默契地收敛到"百千瓦级液冷机柜 + 直流母线供电"的新范式。

功耗-散热-电力：三级约束链​

机柜功耗狂飙的尽头是电网。当前 AI 数据中心面临一条层层传导的约束链：

芯片功耗 → 机柜散热能力 → 机房电力容量 → 区域电网供给。

• 电力缺口：部分新建数据中心等不及电网扩容——Oracle 用燃气卡车"运电"应急；戴尔与日本 Jera 合作投资 150 亿美元在东京建设 400MW 离网 AI 数据中心，自含燃气电厂，计划 2028 年运营。算力需求已快到"自己发电"的地步；
• 联盟与标准：AEMA（电网响应联盟）推动数据中心参与电网调峰响应；NVIDIA 则以 DSX 平台展示能效路线——同功率下 token 吞吐提升 24%、每瓦性能提升 23%，证明"省电"的最前沿其实在芯片与系统层；
• 散热的边界：每一瓦耗电最终都要变成一瓦热，被冷却系统搬运到室外。PUE（总耗电/IT 耗电）每降 0.1，就意味着数千千瓦的冷量系统节省——这也是为什么液冷的 ROI 不能只算电费。

三级约束环环相扣：电网约束机房选址，机房电力约束可部署机柜数，散热能力约束单机柜能塞进多少卡——最终都折算成你能买到的算力总量。

给部署方的建议​

1. 按液冷标准规划新机房：新建设施直接按 150kW+/机柜的液冷密度设计承重、水路与管井，避免两年后推倒重来；
2. 冷板优先，浸没观望：冷板液冷生态与运维成熟度最高；浸没式适合高密度推理等特定负载，不建议作为通用方案首批落地；
3. 关注直流供电架构：评估机柜级 50V 直流母线或更高压 HVDC 方案，转换级数越少，长期电费与可靠性收益越大；
4. 把 PUE 纳入采购决策：本站的 TCO 计算器支持设置 PUE 参数，输入机柜功耗与 PUE 后即可模拟五年电费差异——液冷机柜贵出来的那部分钱，往往两三年内就会被电费差价抹平；
5. 别忽略"减热"路线：光互连（如 NPO 省电 550kW）、更高能效芯片（每瓦性能提升 23% 的系统级优化）同样是散热压力的解药，买算力时把系统能效纳入比价。

小结​

AI 机柜功耗从 100kW 冲向 600kW 的曲线，把散热从幕后推向台前。冷板液冷成为主流范式，50V 直流母线与快速接头定义了新一代机柜工程标准，而电网约束则把战场延伸到能源侧——燃气电厂进园区、调峰联盟成立、每瓦性能成为核心 KPI。未来的 AI 算力竞争，本质上是"每瓦 token"的竞争：谁能更高效地把电变成热、再把热搬走，谁就能部署更多算力。

模型上下文窗口每翻一倍，硬件的隐形成本就翻着倍地涨。预训练计算量的平方增长还算显性，真正卡脖子的是注意力机制带来的 KV Cache：它随上下文长度线性膨胀，随并发数再乘一遍。要读懂长上下文的硬件账本，得从每 token 的 KV 开销算起。

KV Cache：线性膨胀的隐形成本​

自回归解码时，注意力要回看全部历史 token，历史位置的键值向量必须缓存下来。每 token 每层的 KV 开销等于 2 乘以 KV 头数乘以头维度乘以精度字节数，再乘层数。一个 70B 级模型若采用传统多头注意力，单条 128K 上下文的 KV Cache 可以膨胀到几十 GB；并发 16 路，几张 H100 都不够放。这就是长上下文推理服务成本居高不下的结构性原因。

第一轮减负来自注意力结构本身。分组查询注意力（GQA）让多个查询头共享一组 KV 头，KV 开销直接砍掉数倍，如今几乎是长上下文模型的标配。DeepSeek 的 MLA 走得更远：把键值投影到低秩潜空间，缓存的是压缩后的潜向量，据其公开技术报告，KV 显存占用相比传统方案下降了一个数量级，这为 DeepSeek 系列的高并发长上下文服务提供了硬件红利。

稀疏注意力：少读多用​

结构压缩之外，更激进的思路是承认一个经验事实：注意力权重高度集中，绝大多数历史 token 对当前生成的贡献可以忽略。稀疏注意力据此只挑选一小部分关键块参与计算——DeepSeek 的原生稀疏注意力（NSA）、月之暗面的 MoBA 以及 Quest 等方法，都在"选块策略"上做文章：按块粒度估计重要性，只把少数高分块读进计算，其余不碰。

对硬件来说，稀疏注意力省的是 HBM 带宽——解码阶段的瓶颈正是 KV 读取，KV 读取量被压掉一个量级，长上下文解码的速度与显存压力同步缓解。但代价也要看清：选块与索引本身有计算开销，稀疏访问模式让 GPU 利用率下降；更关键的是精度风险，"哪块重要"的判断如果失误，模型会漏看关键信息，长文检索类任务最先暴露问题。

方案对照​

方案	KV 显存/读取量	精度风险	实现与迁移成本
多头注意力（MHA）	基线	无	无，但硬件成本最高
分组查询（GQA）	降至数分之一	极低，已充分验证	训练时确定，改动小
MLA 潜空间压缩	下降一个数量级	低，需配套训练	需专有算子支持
稀疏注意力选块	读取量与长度近似解耦	中，依赖选块策略	框架与算子支持要求高

实操建议​

百万级上下文没有银弹，主流配方是三层叠加：模型侧选 GQA 或 MLA 压缩 KV 本体；注意力侧按业务特性选稀疏策略——代码改写、文档问答这类"相关内容集中"的任务收益最大，全局推理类任务要谨慎评估；系统侧用 KV 量化与 CPU/SSD 分层卸载兜底容量缺口。评估时重点跑长文大海捞针与多跳检索测试，稀疏方案的短板往往藏在最需要"看全文"的样本里。