77 posts tagged with "Tech Deep Dive"

对很多运维同学来说，GPU 服务器只是一个"会发烫的黑盒子"。但要排障、扩容、与厂商博弈保修，你得知道盒子里面长什么样。本文以最经典的 8 卡 HGX H100 机型为解剖对象，顺带对照新一代 GB200 机架的变化。

先算一笔功耗账​

一台典型的 8 卡 HGX H100 服务器：8 颗 SXM5 GPU，单卡 TDP 700W，合计 5600W；基板上 4 颗 NVSwitch 交换芯片，每颗功耗在百瓦上下；双路 Xeon 各 350W；再加上 32 条 DDR5 内存、8 块 NVMe、风扇墙，整机满载约 6.5 至 7kW。供电侧通常配 6 个 3000W 钛金电源，3+3 冗余。

部件	数量与规格	功耗估算
GPU（SXM5）	8 颗，单卡 700W	约 5600W
NVSwitch 交换芯片	4 颗，位于 GPU 基板	约 400W
CPU	双路 Xeon Platinum，各 350W	约 700W
内存与存储	32 条 DDR5 加 8 块 NVMe	约 300W
风扇墙与其他	10 把重型 PWM 风扇	约 300W
整机满载	——	约 6.5 至 7kW

供电设计有个容易被忽视的坑：瞬态功耗。GPU 在计算与等待同步之间快速切换，整机功耗可能在毫秒级摆动数千瓦，对机房 PDU 与 UPS 提出远超传统服务器的要求。这也是大规模 GPU 集群频繁触发电网告警的原因之一。

散热与互联：气流的尽头是液冷​

风冷版 8 卡 H100 机型多为 5U 到 8U 机箱，靠从前往后的强制风道加风扇墙压住 7kW 热负荷，进风温度与风扇转速管理直接决定 GPU 是否降频。但工程界已经形成共识：H100 满血运行时液冷冷板是更优解，冷板直接贴合 GPU 与 NVSwitch，机房侧水温一般控制在 25 至 45 摄氏度之间，温水冷还能提高自然冷却时长。

互联是 GPU 服务器区别于普通服务器的核心。8 颗 GPU 通过第四代 NVLink 全互联，再经 4 颗 NVSwitch 实现 any-to-any 高带宽通信，聚合带宽 900GB/s——这是单机 8 卡能当一张"大卡"用的物理基础。网卡配置通常为 8 张 400G ConnectX-7，与 GPU 一一对应，为 Rail-optimized 布线做准备。

管理平面：BMC 是你最好的朋友​

每台机器都有独立于主系统的 BMC（IPMI 或 Redfish 接口），可以不看操作系统就读取 GPU 温度、功耗、风扇转速、电源状态。成熟的 GPU 运维体系应该做到三件事：第一，所有健康指标从 BMC 与 DCGM 双通道采集，交叉验证；第二，电源、风扇、NVSwitch 的告警分级处置，NVSwitch 故障意味着整机 GPU 域降级，必须尽快替换；第三，固件版本（BMC、GPU VBIOS、交换机）纳入统一管理，避免"某台机器固件特别老"这类隐蔽问题。

对照新一代平台：GB200 NVL72 把"服务器"的概念扩展成了整机架——18 个计算托盘加 9 个 NVLink 交换机托盘，GPU 与 NVSwitch 全部上冷板，电源与铜排集中在机架中部。维护单元从"一台机器"变成"一个托盘"，热插拔与漏液检测成了机架级能力。

写在最后​

给运维团队三条落地建议：第一，新机型到货先做功耗与温度画像，记录满载下的功耗曲线与关键点温度，作为后续异常检测的基线；第二，把 NVSwitch 与 HBM 的告警当成最高优先级，它们的故障影响面远大于单卡；第三，与供应商明确托盘级或整机级的备件 SLA，万卡规模下"寄修"节奏根本跟不上故障速度。看懂硬件，才有资格谈自动化运维。

在 Vera Rubin 平台的"七芯片堆栈"中，第七颗芯片的来路最为特殊——它不是 NVIDIA 自研的 GPU 或 CPU，而是被收购的 Groq 3 LPX。这颗专为智能体解码阶段设计的低延迟推理加速器，以 256 颗 LPU、128GB 聚合 SRAM、40 PB/s 带宽的机架形态，与 Vera Rubin NVL72 并列部署。NVIDIA 宣称其在万亿参数模型场景下每兆瓦吞吐较 Blackwell 高 35 倍。一家以通用 GPU 垄断市场的公司，为何要为"非 GPU"在自家参考架构中留下正式位置？

收购时间线：从投资到全资整合​

根据站内 NVIDIA Groq 3 LPX 芯片卡，整合过程分四步走：

事件	时间	详情
首次投资	2025-12	NVIDIA 向 Groq 投资 2.5 亿美元
全资收购	2026-Q1	NVIDIA 全资收购 Groq（约 200 亿美元）
产品整合	2026 H2	Groq 3 LPU 更名为 NVIDIA Groq 3 LPX
平台纳入	2026 H2	LPX 机架作为 Rubin GPU 的协同机架（companion rack）

2026 年 8 月的 Hot Chips 2026 上，NVIDIA 以《Think Fast: LPU Accelerator for Heterogeneous Compute》为题首次将 LPU 纳入自家参考架构的正式叙事。这在 NVIDIA 历史上极为罕见——过去三十年，NVIDIA 的架构故事里从未给"非 GPU"留下过席位。

LPX 机架规格：SRAM 的极致堆料​

站内卡与 Hot Chips 披露的规格汇总如下：

项目	单 LPU	LPX 机架（256 颗）
片上 SRAM	500 MB	128 GB 聚合
SRAM 带宽	150 TB/s	40 PB/s
机架互联	GroqSync 1 TB/s	640 TB/s
机架算力	—	315 PFLOPS
TDP	~300 W	~80 kW
实测（Gemma 4 31B）	—	单用户 3,431 token/s

最刺眼的是那组带宽对比：40 PB/s 的片上 SRAM 聚合带宽约为单颗 H100 HBM 带宽（3.35 TB/s）的 5,000 倍。LPU 完全放弃 HBM——模型权重经 Weight Streaming 灌入超大 SRAM，所有解码计算在纳秒级延迟的片上内存中完成。Hot Chips 实测数据显示，Gemma 4 31B 单用户吞吐达 3,431 token/s；运行 DeepSeek V3 级别的万亿参数模型约需 5 个机架。架构层面还有一个工程细节：FPGA 桥接同步域与异步域，投机解码只替换 draft token，保证确定性低延迟不被破坏。

为什么智能体负载需要 LPX​

Agentic AI 的负载特征与聊天机器人截然不同。一个智能体执行任务时动辄发起上百次模型调用——规划、工具选择、结果校验层层嵌套，且调用之间存在串行依赖，前一步的解码不结束，后一步的请求就不会发出。这意味着：

• decode 阶段是纯粹 memory-bound：每生成一个 token 都要完整读取一遍模型权重与 KV Cache，算力大量闲置，瓶颈在内存带宽与延迟；
• 延迟是体验与成本的双重货币：单次调用多花 100ms，乘以链式调用的次数就是秒级的体验劣化与集群吞吐的坍缩。

NVIDIA 官方数据给出了量化的答案：LPX 机架 TTFT（首 token 延迟）小于 20ms、TPOT（单 token 延迟）小于 5ms，而 H100 分别约 200ms 与 30ms。对于每秒上千次调用的智能体场景，这不是"更快一点"，而是"可用与不可用"的区别。

SRAM vs HBM：一场精确的架构取舍​

LPX 的 SRAM-only 路线并非全面超越，而是一次方向性取舍：

维度	SRAM（LPX）	HBM（GPU）
延迟	纳秒级	微秒级
带宽密度	极高（40 PB/s/机架）	高（TB/s 级/芯片）
容量	小（单芯 500MB）	大（单卡 141-288GB）
成本/位	高	相对低
适用负载	decode、低延迟小模型	prefill、训练、大容量模型

SRAM 容量小是硬伤——万亿参数模型必须靠 Weight Streaming 与多机架协同，5 个机架跑一个 DeepSeek V3 级模型的配置成本绝非小客户所能承受。但它换来了 HBM 永远给不了的确定性与带宽密度。这不是孰优孰劣的问题，而是两种负载物理特性驱动的必然分工。

异构分工新范式：GPU 管 prefill、LPU 管 decode​

LPX 与 Vera Rubin NVL72 并列部署（companion rack）的设计，确立了"训练用 GPU、prefill 用 GPU、decode 用 LPU"的异构分工范式：

1. 训练：Rubin GPU，吃算力与互联扩展性；
2. prefill（首 token 生成前的上下文处理）：Rubin GPU，并行度极高，吃算力；
3. decode（逐 token 生成）：LPX 机架，串行依赖、memory-bound，吃带宽与延迟。

这就是"每 token 经济学"推导出的结论：prefill 吃算力，decode 吃带宽，用不同架构分别解决，总成本更低。NVIDIA 借此完成了从"一颗 GPU 卖所有场景"到"全场景算力矩阵"的进化——训练、通用推理、极致低延迟推理，一个平台全覆盖。

独立 LPU 市场的终结与同源逻辑​

NVIDIA 买下 Groq，另一个层面的影响同样深远：独立 LPU 市场事实上终结了。曾经 Groq 是"推理专用芯片挑战 NVIDIA"的旗帜，如今旗帜归入了对方阵营。市场上仍坚持独立路线的推理架构玩家，呈现出耐人寻味的同源逻辑：

• d-Matrix：数字 SRAM 推理芯片，接受 NVIDIA 入股；
• Cerebras：晶圆级 SRAM（44GB 片上），与 OpenAI 签署 100 亿美元电力协议；
• LPX（Groq）：SRAM-only LPU，已被 NVIDIA 收编。

三者殊途同归——都判断"内存贴近计算、SRAM 替代 HBM"是推理场景的最优解。区别只在商业化路径：被收购、被投资、硬刚。当架构共识已经形成，竞争的焦点就从"方向对不对"转向"谁能耗到最终局"。

小结​

Groq 3 LPX 并入 Rubin 平台，标记了智能体推理基础设施的范式转折：decode 阶段被正式承认为一种独立的负载类型，需要独立的架构来解决。LPX 机架用 256 颗 LPU、128GB SRAM、40 PB/s 带宽和 35 倍每兆瓦吞吐，把"最后一公里"的解码延迟压到了毫秒以下；而 companion rack 的部署形态则确立了 GPU 与 LPU 异构分工的新范式。对采购者，评估 AI 集群时需要开始区分 prefill 与 decode 的算力配置；对行业观察者，NVIDIA 吞下 Groq 之后，独立推理芯片阵营的每一步——d-Matrix 的选择、Cerebras 的坚持——都值得放在"SRAM 共识"的框架下重新审视。

大模型参数每 18 个月翻一番，GPU 算力每代翻 3-5 倍，而真正卡住 AI 芯片脖子的，往往是那圈贴在 GPU 旁边的"小方块"——HBM 高带宽显存。2026 年，HBM4 进入全面量产，HBM4E 已在路上，本文带你一次读懂四代演进的技术脉络。

HBM 是什么：把内存"竖起来"的 3D 堆栈​

传统 GDDR 显存颗粒是平铺在 PCB 上的，走线长、寄生电感大，带宽天花板低。HBM（High Bandwidth Memory）的思路完全不同：

• 3D 堆栈：把 8 层甚至 12 层 DRAM 裸片垂直叠在一起，通过**微凸点（micro-bump）**层间互连；
• TSV 硅通孔：每层裸片打穿硅片形成垂直通路，让堆栈内部各层共享一条超宽的总线；
• 与 GPU 同封装：HBM 不再焊接在主板上，而是作为独立堆栈放在 GPU 同一个封装内，通过**硅中介层（interposer）**与 GPU 的 die 相连，走线距离从几十毫米缩短到毫米级。

这三件事叠加的结果是：接口位宽可以从 GDDR 的 32bit/颗粒跃升到每堆栈 1024bit 甚至 2048bit，带宽提升十倍以上。代价则是制造难度极高——TSV、堆叠键合、中介层封装每一环都是良率杀手。

四代 HBM 关键参数对比​

代际	接口位宽	单堆栈带宽	单堆栈容量	典型层数	代表产品
HBM2e	1024bit	~460 GB/s	16-24 GB	8 层	H200、昇腾 910C
HBM3	1024bit	~819 GB/s	24 GB	8-12 层	H100
HBM3e	1024bit	~1.15-1.2 TB/s	24-36 GB	8-12 层	B200、MI355X
HBM4/4E	2048bit	2-2.8+ TB/s	36 GB 起	12-16 层	Rubin R200、MI455X

以站内芯片卡的数据为参照：NVIDIA B200（Blackwell）配备 192GB HBM3e，带宽 8 TB/s；到 Rubin R200，8 颗 HBM4 堆栈带来 288GB 容量与 22 TB/s 带宽，带宽提升 2.75 倍。AMD MI455X 更激进，12 颗 36GB HBM4 堆栈做到 432GB / 23.3 TB/s。SK 海力士的 12 层 HBM4 单堆栈规格为 36GB、2.8 TB/s、11 Gbps 引脚速率，已于 2026 年 7 月量产出货。

为什么 2048bit 接口是分水岭​

前三代 HBM 一直沿用 1024bit 接口，性能提升主要靠拉高引脚速率。这条路在 HBM3e 时代已经接近极限——信号完整性与功耗随速率平方增长，继续提速性价比骤降。

HBM4 做了一个根本性改动：接口位宽翻倍到 2048bit，而引脚速率只温和提升。以 Rubin R200 为例，单堆栈 2048bit 接口配合约 10.8 GT/pin 的引脚速率，即可得到约 2.7-2.8 TB/s 的堆栈带宽（与 SK 海力士单堆栈 2.8 TB/s 的规格吻合），8 颗堆栈合计正是 22 TB/s 的总带宽。SK 海力士单堆栈 2.8 TB/s 的成绩同样是"宽接口 + 适中速率"的结果。

位宽翻倍的意义在于：同样的数据量，需要的引脚速率更低、功耗更低、信号更稳。但它也带来新问题——堆栈与 GPU 之间的中介层走线密度翻倍，封装难度和成本水涨船高。HBM4 的竞争，本质上是封装能力的竞争。

HBM4E、12 层堆栈与 zHBM 展望​

HBM4 的下一步是 HBM4E（Enhanced）：

• 容量继续堆高：16 层堆栈将成为 HBM4E 主流，单堆栈容量迈向 48GB；
• 速率再上台阶：引脚速率从 HBM4 的 10+ Gbps 提升到 13-15 Gbps 区间；
• 三星入局：三星的 HBM4E 已通过 NVIDIA 验证，HBM 市场从 SK 海力士一家独大走向三强分食；
• zHBM 路线：三星还公布了 zHBM 概念——在 HBM 堆栈底部集成逻辑 die（Base Logic 加速器），把部分计算下沉到显存侧，探索"存算一体"式的近存计算，瞄准 HBM4E 之后的时代。

对整机厂而言，HBM4E 意味着单机柜显存总量再上台阶：Rubin 时代的 Vera Rubin NVL72 已有 20.7TB 总显存，Helios 机架（72 颗 MI455X）达 31TB，下一代翻倍几乎是定局。

HBM 定价权：三巨头最强时刻与国产涨价潮​

2026 年是 HBM 厂商十年来话语权最强的时刻：

• 供不应求：三星、SK 海力士、美光的 HBM 产能已被预订到 2029 年，三大原厂议价能力空前；
• 成本传导：HBM 占 AI GPU 物料成本的比例从上一代的约 8% 攀升到 20% 以上，显存涨价直接推高整机价格；
• 国产涨价潮：外部 HBM 紧缺叠加国产需求爆发，昇腾系列报价显著上涨——昇腾 950PR 从年初约 6 万元涨破 8 万元（+30%），昇腾 950DT 指示性报价超过 25 万元，两个月内涨幅最高 50%。

涨价潮的根源不在芯片本身，而在 HBM：谁掌握显存供给，谁就掌握 AI 芯片的出货上限。

两条突围路线：自研 HBM 与定制 HBM​

面对 HBM 瓶颈，产业界走出两条不同的路：

路线一：自研 HBM（华为）。 昇腾 950 系列首次采用华为自研 HBM——950PR 使用成本优先的 HiBL 1.0（128GB、1.6 TB/s），950DT 使用带宽优先的 HiZQ 2.0（144GB、4 TB/s），彻底摆脱对 SK 海力士和三星的依赖。自研 HBM 未必追求绝对性能领先，但解决了供应链"卡脖子"这一生死问题。

路线二：定制 HBM（NVIDIA）。 NVIDIA 推动与显存原厂合作开发 NVHBM——定制化堆栈，把 GPU 需要的接口逻辑直接做进 HBM 底部逻辑层，进一步压缩延迟、提高集成度。定制化意味着 GPU 厂商深度介入显存设计，原厂从"卖颗粒"升级为"卖方案"。

自研是供应链安全的答案，定制是性能极致的答案，两者将长期并存。

小结​

四代 HBM 的演进主线非常清晰：HBM2e 到 HBM3e 在 1024bit 接口内"榨"速率，HBM4 用 2048bit 宽接口换回功耗与信号余量，HBM4E 与 zHBM 则在容量和架构上继续突破。显存已经从 GPU 的配角变成 AI 产业的核心资源——它决定带宽、决定成本、决定出货量，甚至决定各国 AI 算力的自主程度。看懂 HBM，才算真正看懂 AI 芯片的账本。

当 AI 竞争的单元从单颗 GPU 升级为整个机架，机架架构就成了新的战场。AMD 的答案叫 Helios：72 颗 MI455X、18 颗 EPYC Venice、31TB HBM4，外加一条与 NVIDIA NVLink 完全不同的开放互联路线。本文拆解它的技术细节、工程约束与商业兑现节奏。

从 GPU 到机架：AI 基础设施的竞争单位变了​

大模型训练与推理的规模已经远远超出单卡甚至单服务器的能力范围。万亿参数模型的训练需要数百到数千颗 GPU 高速协同，推理集群则要求在机架级完成模型分片与流量调度。于是 NVIDIA 用 NVLink 与 NVL72 把竞争拉到了机架层，而 AMD 在 2026 年 1 月的 CES 上给出了自己的回答——Helios，并在 Advancing AI 2026 上确认了完整规格。

Helios 的核心配置一目了然：

组件	配置
GPU	72 颗 MI455X（CDNA 5，每颗 432GB HBM4）
CPU	18 颗 EPYC "Venice"（Zen 6，最高 256 核）
AI 网卡	Pensando Vulcano 800G AI NIC
HBM4 总容量	31TB
FP4 推理算力	2.9 EFLOPS
FP8 训练算力	1.4 EFLOPS
每 GPU 显存带宽	23.3TB/s
Scale-up 总带宽	260TB/s
Scale-out 带宽	43TB/s（较竞品多 50% 以上）

单机架 2.9 EF FP4 的推理算力意味着，一个 Helios 机架可以完整运行 700B 级模型；31TB HBM4 则为超长上下文、多模态与 MoE 架构提供了充裕的显存池。

三级部件：MI455X、Venice 与 Vulcano​

Helios 的性能来自三个部件的协同设计。

MI455X 是算力核心。每颗 GPU 基于 CDNA 5 架构，采用台积电 N2 计算芯粒加 N3P I/O 与缓存芯粒的混合封装，3200 亿晶体管，432GB HBM4 配 23.3TB/s 带宽，MXFP4 算力 40 PFLOPS 级。72 颗的规模使其成为目前单机架密度最高的 AI 算力方案之一。

EPYC Venice 是主机侧大脑。这款全球首款 2nm 数据中心 CPU 基于 Zen 6 架构，最高 256 核、1GB L3 缓存、16 通道内存提供 1.6TB/s 带宽，CPU 到 GPU 互联带宽是上一代的 2 倍。在 Helios 中，每托盘 4 颗 GPU 配 1 颗 Venice，18 颗 CPU 负责数据搬运、内存管理与系统调度。

Pensando Vulcano 是网络出口。800G AI NIC 负责 scale-out 侧的横向扩展，前代 Pollara 400G 已在 MI300 系列上验证了 AMD 网卡路线，Vulcano 将单卡带宽翻倍，并深度配合 UALink 协议栈。

UALink over Ethernet：开放互联路线的技术选择​

Helios 最具战略意义的设计是互联方案：采用 UALink over Ethernet（UALoE）实现 scale-up 纵向扩展，单 GPU 纵向扩展带宽 3.6TB/s，横向扩展 600GB/s（由三块 800G Vulcano NIC 提供）；整个机架的 scale-up 总带宽达 260TB/s，scale-out 达 43TB/s——后者比同级竞品高出 50% 以上。

UALink 是 AMD 联合 Broadcom、Intel 等共同推动的开放标准，目标是打破 NVLink 的封闭生态。选择"UALink 跑在以太网上"而非另起炉灶的专有协议，有三层考量：

1. 生态复用：数据中心以太网的技术栈、运维体系与供应链已经高度成熟，复用以太网物理层可以大幅降低部署门槛。
2. 供应商多元：开放标准意味着交换芯片、网卡、线缆可以有多个供应商，客户不再被单一家族的网络产品绑定。
3. 与 OCP 协同：UALink 与 OCP 的机架规范天然衔接，形成从芯片到机柜的完整开放栈。

与之对照，NVIDIA 的 NVLink 路线追求极致的私有优化——每 GPU 互联带宽更高、协议延迟更低，但代价是生态锁定。两条路线的胜负，取决于开放生态的成熟速度能否追上垂直整合的性能优势。

44OU ORW 机架：被物理约束塑造的工程设计​

Hot Chips 2026 上披露的机架工程细节，展示了巨型 AI 系统在数据中心物理约束下的真实样子。

工程维度	Helios 机架参数
机柜规格	44OU ORW 双宽机架（Open Rack Wide v3）
托盘布局	18 个计算托盘 + 6 个交换托盘
散热	全液冷 + 液冷快速接头
供电	50V 直流母线
整机重量	超过 7000 磅

这组数字背后是严酷的物理现实。72 颗高功耗 GPU 加 18 颗 CPU 使机架功率达到 225-245kW，传统风冷在如此功率密度下已经无能为力，全液冷成为唯一选项，液冷快速接头则是为了支持托盘级热插拔维护——在价值 500 万美元以上的机架中，停机时间就是真金白银。

50V 直流母线的选择同样有讲究：相比传统交流配电，直流母线减少一次 AC-DC 转换损耗，且在高功率密度下配电铜排更省空间。而超过 7000 磅的整机重量，则意味着数据中心的地板承重、搬运路线乃至建筑结构都需要为此重新评估——这也是它与 Meta 共研 ORW（Open Rack Wide）设计的意义：让宽体机架成为行业可复用的开放标准，而不是每家云厂商各造一套。

量产节奏与客户版图​

Helios 的交付节奏已经进入兑现期：2026 年 7 月开始量产，Q3 末首批出货，Q4 放量。客户侧的版图同样清晰：

• 微软：2026 年 7 月宣布扩大合作，在 Azure 大规模部署 Helios 机架级系统，明确用于前沿模型推理而非训练。
• Oracle：被列为 Helios 早期采用者。
• OpenAI：6GW 级合作协议，首批 1GW 基于 MI450 系列，计划 2026 年 Q4 启动 Helios 规模化上架，2027 年进入加速投放周期。
• Meta：最多 6GW 的 AMD GPU 部署计划，正测试 Helios 机架与第六代 EPYC，并与 AMD 共研基于 MI450 架构的定制加速器。
• TCS：将 Helios 带到印度市场。
• HPE：开放机架合作，加入 Dell、Supermicro、Lenovo 的 OEM 阵容。
• 主权 AI：Helios 平台也将助力美国主权 AI 工厂超算建设。

OpenAI 与 Meta 合计 12GW 以上的合作规模，是检验 Helios 商业模式的试金石。AMD 用认股权证与战略投资绑定头部客户的模式（如向 OpenAI 发行最多 1.6 亿股认股权证），本质是把未来收入与客户增长深度绑定——如果兑现，AMD 将在 AI 加速器市场获得实质性的第二供应商地位。

小结​

Helios 不只是一台更大的机柜，而是 AMD 对 AI 基础设施的一次完整表态：用 UALink 与 OCP 的开放标准对抗 NVLink 的垂直整合，用显存容量与 scale-out 带宽的数字优势切入推理市场，用与 Meta 共研的 ORW 机架设计把工程经验沉淀为行业规范。7000 磅的重量、50V 直流母线与全液冷快速接头提醒我们，AI 竞争已经深入到供电、散热与承重这样的物理细节。接下来真正的问题只有一个：6GW 订单的兑现节奏，能否跟上纸面参数的漂亮程度。

很多团队上线推理服务后都遇到同一个困惑：平均延迟 200ms，用户却总抱怨"卡"。答案是尾部延迟——决定体验的是最慢的那 1% 请求。本文从 P99 说起，聊推理服务 SLA 与弹性扩缩容的生产实践。

先把指标定对​

对话式 LLM 服务的延迟要拆成两段看：TTFT（首 token 时间）决定"反应快不快"，decode 吞吐决定"打得快不快"。对交互式应用，业界常见的 SLO 是 P99 TTFT 控制在数百毫秒以内；对异步批处理任务，可以放宽到秒级换取更高吞吐。这里有个经典陷阱：平均延迟掩盖问题。一个把平均响应时间改善四成、却把 P99 恶化两成的版本，对最差的那批用户就是明确的回归，上线前必须对比优化前后的分位数。

核心指标	含义	实践建议
P99 TTFT	首 token 时间的 99 分位	主 SLO 指标，超标持续 60 秒即告警
每池队列深度	等待 prefill 或 decode 槽位的请求数	容量压力最早的信号，作为扩容主信号
每卡 tokens 每秒	吞吐效率	请求量稳定但该值下滑，警惕 KV cache 抖动
KV cache 命中率	前缀缓存复用比例	据公开经验，低于三成需检查缓存配置
每千 token 成本	财务 SLO	按模型版本跟踪，捕捉上线后的成本回归

为什么不能按 GPU 利用率扩容​

传统 HTTP 服务按 CPU 利用率扩容的经验，在 GPU 推理上会系统性失效，原因有三：第一，GPU 利用率是滞后指标，等利用率冲高时队列早已堆积，尤其 decode 阶段是访存瓶颈，利用率与压力并不同步；第二，冷启动太慢，GPU 推理副本从调度到可服务要 30 至 90 秒，加载 70B 级模型权重可能要十几分钟，而流量尖峰 60 秒就冲过去了——扩容动作永远追不上尖峰；第三，张量并行组必须整体伸缩，2 卡 TP 组加 1 卡毫无意义，扩缩容要以完整模型实例为单位。

正确的主信号是队列深度：在请求开始排队之前扩容，而不是之后。再叠加预测性伸缩——推理流量有极强的日周期与周周期规律，提前 15 分钟预热远比事后追赶便宜。

分池调度与冷启动治理​

生产级方案通常把 prefill 与 decode 拆成独立资源池分别伸缩：流量突发时先扩 prefill 池（TTFT 恶化的元凶），decode 吞吐下滑时再扩 decode 池，混在一个池里互相挤兑是最常见的过度供给原因。入口层还要做准入控制：设置最大队列深度，超限返回 429 加 Retry-After 头，而不是让队列无限增长拖垮所有请求；再按租户做令牌桶限流，防止单个大客户的突发流量劣化全平台的 P99。

冷启动治理三板斧：保持至少 1 个热副本避免缩容到零；对必须缩到零的场景，用每 30 至 60 秒一次的保活探测或启动后的预热接口提前加载权重与 KV cache；LoRA 适配器在启动时预加载而非首次请求时加载。热池的代价据公开经验约为峰值算力的两到三成，这通常比尖峰时刻的 SLA 违约便宜得多。引擎侧选用基于 PagedAttention 与连续批处理的方案（如 vLLM），据公开评测可带来 2 倍以上的 P99 改善，是杠杆率最高的单项优化。

写在最后​

三条落地建议：第一，SLA 按 TTFT 与 decode 分段定义，全部用分位数告警，并把每千 token 成本与产品指标放在同一张大盘上；第二，扩缩容以队列深度为主信号、预测性伸缩为辅，按 prefill 与 decode 分池管理；第三，每次变更前后跑同一并发水位下的负载测试，验证 P99 而非平均值。推理服务的竞争力，最终体现在最慢的那 1% 请求上。

当单芯片晶体管增速放缓，算力的增长叙事就从"更快的芯片"变成"更多的芯片"——而把几百上千颗芯片粘成一台计算机的那根线，正成为 AI 基础设施竞争最激烈的一层。

为什么 scale-up 互联成为新战场​

大模型训练与推理的本质是大量芯片协同计算，芯片间每次交换数据都要经过互联网络。互联带宽决定了两件事：并行扩展效率（加卡能换来几成算力）和内存池化能力（跨卡显存能否当作一块用）。华为马尔科夫实验室的仿真给过一个直观口径：传统 8 卡服务器组网下，集群内通信占训练时间超过 40%；换成大规模超节点组网后 MFU 可提升 2.75 倍——互联不是配套件，而是算力本身。

于是"机架级计算"成为 2026 年的主流形态：NVIDIA 的 NVL72、AMD 的 Helios 72 卡机架、华为的 4096 卡超节点，都是在互联层下注。四方标准就此正面相遇。

四方标准对比表​

维度	NVLink 6（NVIDIA）	UALink / UALoE（AMD 阵营）	Ultra Ethernet（UEC）	灵衢 UnifiedBus（华为）
单卡带宽	Rubin R200 单 GPU 3.6TB/s	MI455X 单 GPU scale-up 3.6TB/s（UALoE）；横向扩展 600GB/s	以太网生态扩展，43TB/s 级机架出口	昇腾 950/960 单卡 2TB/s
机架级带宽	NVL72 总计 260TB/s	Helios 72 卡 scale-up 约 260TB/s、scale-out 43TB/s	以太网交换机标准演进	960 超节点 4096 卡，RTT 2μs
开放度	NVLink Fusion 向伙伴开放集成自定义 CPU/芯片	UALink 开放规范，UALoE 走以太网物理层	开放联盟，多厂商互通	开放灵衢 2.0 总线生态，自研为主
生态绑定	深度绑定 CUDA	绑定 ROCm + OCP 开放标准	生态最广、厂商中立	绑定 CANN/MindSpore
代表系统	Vera Rubin NVL72	AMD Helios（Open Rack Wide v3）	UEC 联盟成员网络	Atlas 960 超节点

两组数字颇有意味：NVIDIA 与 AMD 的单 GPU scale-up 带宽同为 3.6TB/s，72 卡机架级 scale-up 带宽同样约 260TB/s——在纵向扩展这一层，两条路线的物理指标已经打平，胜负手转向开放度与生态。

开放标准与垂直整合的两条路线​

NVIDIA 走的是垂直整合加有限开放：NVLink 6 从交换芯片到拓扑全部自研，NVL72 的 260TB/s 全互联带宽是系统级护城河；但 NVLink Fusion 开始向合作伙伴开放，允许第三方把自定义 CPU、加速芯片接入 NVLink 域——既保住标准控制权，又吸纳外部设计。

AMD 走的是彻底的开放标准路线。Helios 机架基于 OCP 的 Open Rack Wide v3 规范（ORW 设计与 Meta 共研），互联组合是 Infinity Fabric + UALink + Ultra Ethernet，配自研 Pensando Vulcano 800G 网卡；MI455X 的 UALoE（UALink over Ethernet）干脆把 scale-up 流量架在以太网物理层上，让客户用标准以太网设备搭建 260TB/s 的纵向扩展域。UEC 则从横向扩展切入，目标是让万卡级集群的跨机网络也走开放以太网。

华为灵衢是第三条路：自研协议、开放生态。灵衢 2.0 总线支撑昇腾 950 的 2TB/s 单卡互联与 1024 卡超节点，昇腾 960 超节点用"灵衢 + Hi-ONE 光引擎"做到单节点 4096 卡、1PB HBM、RTT 2μs，多节点经灵衢网络组网最大 51.2 万卡，叠加多轨道拓扑可达 100 万卡集群——在规模上限上反而是四者中最激进的。

Token Fabric 的"中立性"悖论​

2026 年 10 月 8 日，多厂商互联平台 Upscale AI 发布 Token Fabric，NVIDIA 也出现在投资方名单里。它试图提供一个厂商中立的机架级互联方案，让不同家的加速器共处一个 scale-up 域。

但这里存在一个悖论：真正需要中立方（被 NVLink 锁定的二线芯片厂商）欢迎它，而制定标准的头部厂商（正是 NVLink、UALink、灵衢的持有者）都有动机让它名存实亡。NVIDIA 参投 Token Fabric 更可能是防守性布局——与其被排除在开放阵营外，不如进去施加影响。互联标准的"中立平台"能否存活，取决于超大规模云厂商是否愿意为去锁定支付溢价；从 OCP 阵营的扩张速度看，至少在 AMD Helios 这类系统上，开放路线已经拿到了第一个规模化验证。

给采购方的评估维度​

面对四方标准，采购方可以用四个维度打分：一是 scale-up 域内的有效带宽与扩展效率（MLPerf 等实测口径，Rubin NVL72 在 288 卡演示中达到 99% 扩展效率）；二是内存池化能力——互联是否支持跨卡统一编址，这直接决定超大模型的部署方式；三是生态绑定成本——CUDA/ROCm/CANN 的迁移代价往往比硬件差价更大；四是供应链弹性——开放标准（UALink/UEC/OCP）意味着多供应商议价权，垂直整合意味着更紧的集成但更少的集成风险。

小结​

互联标准的四方博弈，本质是三种产业模式的对撞：NVIDIA 的垂直整合加 NVLink Fusion 有限开放，AMD 阵营的 UALink/UEC/OCP 全开放路线，华为的自研灵衢加超节点规模策略。物理指标上单卡 3.6TB/s、机架 260TB/s 已成 2026 年的"对齐线"，下一阶段的差异化将来自光互联（Hi-ONE 的 NPO 路线）和内存语义扩展。对采购方而言，标准之争没有旁观席——今天选的互联，决定了未来五年被谁的生态锁定。

当英伟达的高端芯片被出口管制挡在门外，中国的互联网巨头们被迫回答同一个问题：算力从哪来？百度和阿里给出的答案最彻底——自己造。一家走自研 XPU 架构的渐进路线，一家以 RISC-V 基因押注全栈闭环。2026 年秋，两家的代表作品分别是昆仑芯 R200 和平头哥真武 V900。

一、巨头自研的三种路线​

把国内互联网巨头的芯片战略摊开，大致可分为三种类型：

路线	代表	特征
XPU 架构派	百度昆仑芯	自研指令集架构，从推理切入逐步上探训练
RISC-V + 全栈派	阿里平头哥	自研 CPU（倚天）+ AI 芯片（真武）+ 互联总线（ICN）全栈闭环
租赁过渡派	腾讯	自研（紫霄）同时大规模租用海外算力过渡

海外巨头的对照同样值得一看：Meta 与博通合作自研 MTIA 推理芯片，AWS Annapurna 团队与 NVIDIA 合作开发 NVHBM 定制芯片——"自研 + 深度定制"是大厂绕开通用 GPU 溢价的共同选择。而腾讯则提供了一个反例参照：通过租用 Oracle 旗下 10 万颗芯片获得算力，以租赁模式绕开采购限制。三条路线没有绝对优劣，但百度与阿里的坚持，正在长出最完整的技术资产。

二、百度昆仑芯：从 R200 到 P800 的 XPU 演进​

昆仑芯的底层竞争力在于自研 XPU 架构——从 2018 年的昆仑芯 1 代（14nm）到 2021 年的 2 代（7nm Kunlun Core II），再到今天的 XPU-R 与 XPU-P，指令集始终自主。本站收录的两代代表产品：

昆仑芯 R200（2025 年，XPU-R 架构，推理主力）：

项目	参数
制程	7nm
FP32	32 TFLOPS
FP16	128 TFLOPS
INT8	256 TOPS
显存	16GB / 32GB GDDR6，512 GB/s
TDP	150 W（被动散热）
视频	108 路 1080P 解码 / 27 路编码
接口	PCIe Gen4 x16

150W 的低功耗加多精度配置，让 R200 主打数据中心大规模推理与视频分析场景——这是百度搜索与信息流业务的算力基本盘。

昆仑芯 P800（2024 年，XPU-P 架构，训推一体）：FP16 345 TFLOPS（超越 H20 的 148 TFLOPS）、INT8 820 TOPS、96GB HBM3、2.4 TB/s 带宽、400W、OAM 形态，支持 DeepSeek-V3/R1 671B 满血版单机 8 卡运行，配套天池 256/512 超节点，已交付万卡级集群并实现全自研三万卡集群。昆仑芯科技已于 2026 年 5 月启动科创板 IPO 辅导——从百度内部部门到独立上市，XPU 路线完成了商业验证。

三、阿里平头哥真武 V900：216GB 显存与 50 万卡集群​

2026 年 9 月 22 日云栖大会，平头哥发布新一代训推一体 AI 芯片真武 V900，官方称之为"目前算力性能最强的中国自研 AI 芯片"，量产上云时间较原路线图提前至 2027 年第一季度。

项目	参数
显存	216 GB（超过 B200 的 192GB 与 H200 的 141GB）
片间互联	1200 GB/s（自研 ICN 链路，较 M890 提升 50%）
精度	原生 FP8 / FP4
性能口径	真武 M890 的 3 倍
集群	磐久 AL128 超节点，ICN Switch 扩展至 50 万卡
量产	2027 年 Q1 上云
软件	T-Head SAIL 全栈

与 M890 一致，平头哥未公布绝对 FLOPS、制程与 TDP——业界推测由中芯国际制造，官方未证实。但结构性的信息已经足够：216GB 显存直指大模型时代的"内存墙"，1200 GB/s 片间互联对标 NVLink 量级拆解"通信墙"。真武系列的代际节奏同样清晰：810E（96GB/700 GB/s）→ M890（144GB/800 GB/s，GP9A 超节点实例已于 8 月上线，国内首个跑通超 2 万亿参数大模型的超节点形态算力）→ V900 → J900（2027 年 Q3，架构突破性创新）。截至 2026 年 9 月，真武系列已服务超 650 家企业客户。

四、ICN 总线与倚天 CPU：全栈闭环的最后一块拼图​

真武 V900 最大的想象空间不在单芯片，而在 ICN 互联总线构建的全栈闭环：ICN Switch 让 Scale-Up 域内带宽完全对称、原生内存语义与统一编址；磐久 AL128 超节点把真武 V900、ICN Switch、磐脉智能网卡、镇岳 SSD 主控全部收进一套算-存-网协同体系，单一集群可扩展至 50 万卡——这个目标直指 NVIDIA Rubin Ultra NVL576 的规模层级。

同期公布的倚天 CPU 路线图补上了 CPU 侧的拼图：2027 年推出倚天 720/730，其中倚天 730 首次采用全自研微架构，SPECint2017 单核性能（每 GHz）达到倚天 710 的 1.4 倍；倚天 750 支持自研 ICN 总线，实现 CPU 与真武 AI 芯片直连。至此，"倚天 CPU + 真武 AI 芯片 + ICN 网络"的全栈闭环成型——阿里成为国内唯一在 CPU、AI 芯片、互联协议三层都实现自研并互操作的云厂商。

五、对照与启示：自研是巨头的长期主义​

把百度与阿里放回全球坐标系：Meta×博通 MTIA、AWS×NVIDIA NVHBM 说明自研 + 定制是全球巨头的共同选择；腾讯租用 Oracle 10 万颗芯片则展示了"买不到就租"的过渡形态。但中国的特殊性在于出口管制的硬约束——通用 GPU 的获取不确定性，让自研从"降本选项"变成了"生存选项"。百度用 XPU 架构证明渐进路线的可持续，阿里用 RISC-V 基因 + ICN 总线证明全栈闭环的可能性。

小结​

昆仑芯 R200 与真武 V900 分别代表了互联网巨头自研芯片的两个时态：R200 是"现在时"——150W 低功耗推理卡稳定承载着百度的核心业务；V900 是"将来时"——216GB 显存、50 万卡集群与 2027 年 Q1 量产的承诺，瞄准的是数万亿至十万亿参数模型的算力底座。一种路线靠架构自主渐进上探，一种路线靠全栈闭环规模突围，两者共同指向同一个结论：中国互联网巨头的算力命门，正在从采购谈判桌转移回自己的设计图纸。2027 年，当 V900 与倚天 730 如期上云、昆仑芯 R300 落地，这场自研竞赛的下半场才真正开始。

过去三年，模型参数增长了 240 倍，集群规模扩大了 10 倍，而互连带宽只提升了 2 倍——Lightmatter 创始人 Nick Harris 用这组数字解释为什么光必须进入 AI 集群。

为什么是现在：电互连的"海岸线"困境​

现代 AI 芯片的全部 I/O 都挤在裸片边缘，业内称之为"海岸线"（shoreline）限制：裸片面积在变大，边缘周长的增长却远跟不上 I/O 需求。同时，电信号的传输距离与带宽密度受物理规律约束，scale-up 域被锁死在单机架范围内，GPU 集群大量时间在等待数据。Lightmatter 的核心思路是：用光子取代铜线，并把光 I/O 从"边缘"搬到"整个裸片表面"——所谓的无边 I/O（edgeless）架构，让带宽随面积而非周长扩展。

三种进入方式：光源、共封装、光子中介层​

Lightmatter 的产品矩阵正好对应光进入集群的三条路径：

产品	形态	关键规格	状态
Guide 光引擎	大规模光子光源（VLSP）	16 波长，单光纤 800G，波长精度正负 20GHz	已发布
Passage L20	共封装光学入门方案	聚合带宽 12.8 Tbps，可插拔密度 4 倍	2026 年上市
Passage L200 与 L200X	3D 共封装光学（CPO）	32 至 64 Tbps 双向带宽，320 个 SerDes，单光纤最高 1.6 Tbps	2026 年上市
Passage M1000	3D 光子中介层超级芯片	114 Tbps 总光带宽，4000 平方毫米，256 根光纤，1.5kW 供电	2025 年夏季推出

三条路径解决的问题不同。Guide 光引擎为整个光子产业提供稳定光源，是生态层面的布局；L200 系列瞄准交换芯片与下一代 XPU 的共封装，用 UCIe 标准接口实现芯片粒集成，与 Alphawave 合作提供 SerDes IP；M1000 则最为激进——它是一块可重构波导网格的三维光子中介层，让数千颗 GPU 进入同一互连域，据称可将万卡级集群的 scale-up 域扩大 8 倍，万亿参数 MoE 模型的训练时间缩短约 2.7 倍。

资本与产业风向​

Lightmatter 2017 年从 MIT 分拆而来，2024 年 10 月完成 4 亿美元 D 轮融资，估值达 44 亿美元，累计融资 8.5 亿美元，是硅光赛道估值最高的公司之一。制造侧与 GlobalFoundries（Fotonix 硅光平台）、台积电、Tower、Amkor、ASE 等深度合作。

值得注意的行业信号是：2026 年，Marvell 宣布以约 55 亿美元收购硅光初创 Celestial AI（据公开报道），大厂开始用并购押注光互连——这与博通在 CPO 上的持续投入相呼应。光互连已从论文选题变成 AI 基础设施军备竞赛的一环。

小结与建议​

光子不会取代电子计算，但它正在接管计算之间的高速公路。对云厂商与 AI 数据中心规划者，建议关注三个节点：其一，Passage L200 的 2026 年量产进度，共封装光学是短期内最现实的落地形态；其二，M1000 级光子中介层能否真正进入 XPU 设计流程；其三，UCIe 等开放标准与光互连的融合程度。互连正在成为 AI 集群的第一性约束，光进群的速度，可能决定下一代超大规模训练的经济性。

十年前一个标准机柜 5-10kW，风冷绰绰有余；今天 Vera Rubin NVL72 约 180kW，AMD Helios 机架 225-245kW，下一代 Rubin Ultra NVL576 更是直指 600kW。散热从"机房辅助工程"升格为"AI 算力的第一性约束"，一场从风冷到液冷的革命已不可逆。

为什么风冷在 100kW+ 机柜面前失效​

风冷的物理极限很好理解：空气比热容小、密度低，带走同样热量需要的体积流量巨大。机柜功耗超过 100kW 后，风冷会同时撞上三堵墙：

1. 风量墙：单机柜 100kW 需要的冷风量超出地板下送风与机柜前门的物理供给能力，冷热气流短路、局部热点不可避免；
2. 噪音与能耗墙：暴力风扇转速拉满，风扇功耗可占整机 10% 以上，机房噪音远超职业健康标准；
3. 芯片密度墙：单卡 TDP 已从 H100 的 700W 涨到 Rubin R200 的 1800-2300W——这个量级的芯片，散热器与芯片之间的空气层本身就是绝热层，风冷在物理上无法把 2000W 从 die 表面带走。

结论很直白：当单卡功耗突破千瓦级、机柜突破百千瓦级，液冷不再是选项，而是必需品。NVIDIA 对 Rubin R200 的官方口径就是四个字——必须液冷。

机柜功耗演进：五年 100 倍的狂飙​

平台	机柜功耗	散热方式
传统服务器机柜	5-15 kW	风冷
GB300 NVL72	~140 kW	液冷为主
Vera Rubin NVL72（VR200）	~190-230 kW	全液冷
Rubin Ultra NVL576	~600 kW	全液冷 + 新一代供电

这条曲线（Thunder Compute 汇总口径）解释了为什么整个产业链都在围绕散热重构：机柜每上一个台阶，供配电、冷却水路、机房承重全部要重新设计。值得一提的是，散热还有"另一种解法"——华为昇腾 960 超节点用 NPO 光互连替代 4.8 万颗 800G 光模块，直接省下 550kW：最好的散热，有时是不产生这份热量。

技术梯队：冷板、浸没式与侧门冷却​

液冷按冷却介质与发热元件的距离分为三档：

技术方案	原理	散热能力	改造成本	成熟度
冷板液冷	冷水板贴住 GPU/CPU 等高热元件	单柜 100-300kW	中	主流量产方案
侧门冷却（Rear Door HX）	机柜后门内置水冷换热器冷却排风	单柜 50-150kW	低	过渡方案
浸没式液冷	整机浸入介电液体	极高，且可回收余热	高	特定场景试点

当前产业主流是冷板液冷：GPU、CPU 等热源元件用冷板覆盖，其余内存、硬盘仍靠风冷辅助，形成"液冷为主、风冷兜底"的混合形态。它的优势是可以在现有服务器形态上渐进改造，且不改变元器件可维护性。浸没式散热能力天花板最高、PUE 可逼近 1.05，但介电液体成本、服务器浸入后的可维护性与承重要求，使其仍局限于特定高密度场景。侧门冷却则是风冷机房"续命"的过渡选项。

50V 直流母线与液冷快速接头：工程细节里的魔鬼​

散热革命从来不只是"换水冷板"，它牵动整机柜的供电与水路重构。AMD Helios 机架的工程细节最具代表性：

• 44OU ORW 双宽机架：采用 Open Rack Wide v3 标准，机架宽度加倍，为 72 颗 MI455X + 18 颗 EPYC Venice 留出空间；
• 18 个计算托盘 + 6 个交换托盘：计算与网络托盘分层布置，托盘化设计让故障节点可整体抽出更换，水路随托盘断开；
• 液冷快速接头：每个托盘使用免工具快速接头，拔插自动密封不漏液——这是液冷能否规模化运维的关键：机房不可能为换一张卡而整体排水；
• 50V 直流母线：整机柜采用 50V 直流配电架构，替代传统多级 AC-DC 转换，减少变换级数、提升供电效率，与 NVIDIA 侧的 800V HVDC 演进方向殊途同归；
• 重量超 7000 磅（约 3.2 吨）：装满冷却液与 72 颗 GPU 的机架对机房楼层承重提出全新要求，液冷机柜的"体重"本身就是部署约束。

Helios 机柜 TDP 225-245kW，与 Vera Rubin NVL72 的约 180kW 处在同一量级——头部厂商已默契地收敛到"百千瓦级液冷机柜 + 直流母线供电"的新范式。

功耗-散热-电力：三级约束链​

机柜功耗狂飙的尽头是电网。当前 AI 数据中心面临一条层层传导的约束链：

芯片功耗 → 机柜散热能力 → 机房电力容量 → 区域电网供给。

• 电力缺口：部分新建数据中心等不及电网扩容——Oracle 用燃气卡车"运电"应急；戴尔与日本 Jera 合作投资 150 亿美元在东京建设 400MW 离网 AI 数据中心，自含燃气电厂，计划 2028 年运营。算力需求已快到"自己发电"的地步；
• 联盟与标准：AEMA（电网响应联盟）推动数据中心参与电网调峰响应；NVIDIA 则以 DSX 平台展示能效路线——同功率下 token 吞吐提升 24%、每瓦性能提升 23%，证明"省电"的最前沿其实在芯片与系统层；
• 散热的边界：每一瓦耗电最终都要变成一瓦热，被冷却系统搬运到室外。PUE（总耗电/IT 耗电）每降 0.1，就意味着数千千瓦的冷量系统节省——这也是为什么液冷的 ROI 不能只算电费。

三级约束环环相扣：电网约束机房选址，机房电力约束可部署机柜数，散热能力约束单机柜能塞进多少卡——最终都折算成你能买到的算力总量。

给部署方的建议​

1. 按液冷标准规划新机房：新建设施直接按 150kW+/机柜的液冷密度设计承重、水路与管井，避免两年后推倒重来；
2. 冷板优先，浸没观望：冷板液冷生态与运维成熟度最高；浸没式适合高密度推理等特定负载，不建议作为通用方案首批落地；
3. 关注直流供电架构：评估机柜级 50V 直流母线或更高压 HVDC 方案，转换级数越少，长期电费与可靠性收益越大；
4. 把 PUE 纳入采购决策：本站的 TCO 计算器支持设置 PUE 参数，输入机柜功耗与 PUE 后即可模拟五年电费差异——液冷机柜贵出来的那部分钱，往往两三年内就会被电费差价抹平；
5. 别忽略"减热"路线：光互连（如 NPO 省电 550kW）、更高能效芯片（每瓦性能提升 23% 的系统级优化）同样是散热压力的解药，买算力时把系统能效纳入比价。

小结​

AI 机柜功耗从 100kW 冲向 600kW 的曲线，把散热从幕后推向台前。冷板液冷成为主流范式，50V 直流母线与快速接头定义了新一代机柜工程标准，而电网约束则把战场延伸到能源侧——燃气电厂进园区、调峰联盟成立、每瓦性能成为核心 KPI。未来的 AI 算力竞争，本质上是"每瓦 token"的竞争：谁能更高效地把电变成热、再把热搬走，谁就能部署更多算力。

模型上下文窗口每翻一倍，硬件的隐形成本就翻着倍地涨。预训练计算量的平方增长还算显性，真正卡脖子的是注意力机制带来的 KV Cache：它随上下文长度线性膨胀，随并发数再乘一遍。要读懂长上下文的硬件账本，得从每 token 的 KV 开销算起。

KV Cache：线性膨胀的隐形成本​

自回归解码时，注意力要回看全部历史 token，历史位置的键值向量必须缓存下来。每 token 每层的 KV 开销等于 2 乘以 KV 头数乘以头维度乘以精度字节数，再乘层数。一个 70B 级模型若采用传统多头注意力，单条 128K 上下文的 KV Cache 可以膨胀到几十 GB；并发 16 路，几张 H100 都不够放。这就是长上下文推理服务成本居高不下的结构性原因。

第一轮减负来自注意力结构本身。分组查询注意力（GQA）让多个查询头共享一组 KV 头，KV 开销直接砍掉数倍，如今几乎是长上下文模型的标配。DeepSeek 的 MLA 走得更远：把键值投影到低秩潜空间，缓存的是压缩后的潜向量，据其公开技术报告，KV 显存占用相比传统方案下降了一个数量级，这为 DeepSeek 系列的高并发长上下文服务提供了硬件红利。

稀疏注意力：少读多用​

结构压缩之外，更激进的思路是承认一个经验事实：注意力权重高度集中，绝大多数历史 token 对当前生成的贡献可以忽略。稀疏注意力据此只挑选一小部分关键块参与计算——DeepSeek 的原生稀疏注意力（NSA）、月之暗面的 MoBA 以及 Quest 等方法，都在"选块策略"上做文章：按块粒度估计重要性，只把少数高分块读进计算，其余不碰。

对硬件来说，稀疏注意力省的是 HBM 带宽——解码阶段的瓶颈正是 KV 读取，KV 读取量被压掉一个量级，长上下文解码的速度与显存压力同步缓解。但代价也要看清：选块与索引本身有计算开销，稀疏访问模式让 GPU 利用率下降；更关键的是精度风险，"哪块重要"的判断如果失误，模型会漏看关键信息，长文检索类任务最先暴露问题。

方案对照​

方案	KV 显存/读取量	精度风险	实现与迁移成本
多头注意力（MHA）	基线	无	无，但硬件成本最高
分组查询（GQA）	降至数分之一	极低，已充分验证	训练时确定，改动小
MLA 潜空间压缩	下降一个数量级	低，需配套训练	需专有算子支持
稀疏注意力选块	读取量与长度近似解耦	中，依赖选块策略	框架与算子支持要求高

实操建议​

百万级上下文没有银弹，主流配方是三层叠加：模型侧选 GQA 或 MLA 压缩 KV 本体；注意力侧按业务特性选稀疏策略——代码改写、文档问答这类"相关内容集中"的任务收益最大，全局推理类任务要谨慎评估；系统侧用 KV 量化与 CPU/SSD 分层卸载兜底容量缺口。评估时重点跑长文大海捞针与多跳检索测试，稀疏方案的短板往往藏在最需要"看全文"的样本里。