跳到主要内容

88 篇博文 含有标签「AI Infrastructure」

Data center, power and networking infrastructure for AI

查看所有标签

800V 高压直流:AI 数据中心的电力架构革命

· 阅读需 4 分钟
Industry Research Team

当机柜功率冲向 1 兆瓦,沿用二十年的 54V 直流配电体系彻底失灵。NVIDIA 把 800V 高压直流定为 Kyber 机柜的参考架构,超过 80 家供应链厂商已宣布跟进。这不是一次简单的升压,而是数据中心电力链路的整体重构。

为什么必须是 800V​

传统数据中心遵循"市电交流—变压器—UPS—配电柜—机架电源—54V 母线"的多级转换链路,每一级都带来损耗、发热与空间占用。在 10kW 机柜时代这套架构绰绰有余,但当 AI 机柜逼近 1 兆瓦,低电压配电意味着巨大电流:据 NAND Research 援引的工程测算,1 兆瓦机柜在 54V 直流体系下仅铜排就可能重达约 200 公斤,还要挤占宝贵的机柜空间。

升到 800V 直流后,同等功率下电流大幅下降。据英伟达公布的数据,相同截面积铜导体可传输的功率提升八成以上,铜用量减少约 45%,端到端效率提升最多 5 个百分点,全生命周期维护成本下降最多 70%,总拥有成本降低约 30%。功率半导体侧的验证也在推进:德州仪器已展示 800V 转 6V 的参考设计,峰值效率达 97.6%,证明供应链可以支撑兆瓦级机柜的供电需求。

生态与时间表​

据公开信息,NVIDIA 联合谷歌、微软通过开放计算项目(OCP)发布了 800V 架构规范,生态覆盖三个层次:

层级代表厂商进展
功率半导体英飞凌、意法半导体、德州仪器、纳微半导体等已完成 MGX 生态器件与参考设计验证
电源系统台达、Vertiv、施耐德电气、伊顿商用产品 2026 年下半年上市
数据中心基础设施ABB、日立能源、西门子、GE Vernova 等面向兆瓦级机柜的配电方案推进中

时间线上,2026 年下半年是关键节点:Vertiv、台达等厂商的首批 800V 产品与 NVIDIA MGX 兼容的 800V 电源机架同步交付,CoreWeave、Lambda、Oracle 云、Together AI 等算力运营商已在按 800V 标准设计新设施,富士康高雄一号 40MW 数据中心更已在 800V 直流架构下投入运行。2027 年,支撑每排 2 兆瓦的集中式行级电力中心将与 Kyber 机柜(约 600kW、最多 576 颗 Rubin Ultra 加速器)全面量产形成配套。

固态变压器与链路简化​

800V 架构的另一层革命在链路源头:中压交流通过固态变压器(SST)或整流单元直接转换为 800V 直流,省去中间多级变换环节,机房内实现液冷母排直供。机架电源被从计算机柜中移除后,可释放约 64U 的机柜空间用于计算负载——供电与算力的物理距离被压缩到极致,省下的每一瓦传输损耗都直接转化为可售算力。

这也意味着电力设备的价值量在数据中心资本开支中的占比显著上升。传统数据中心里电源是配角,而 AI 工厂里,从固态变压器到直流母排的整条电力链路,正在成为与 GPU 同等重要的投资标的。

结语:电力架构决定算力上限​

对规划 2027 年后新建数据中心的运营者而言,800V 不再是可选项,而是与 Rubin Ultra 绑定的"入场券":今天按 415V 交流设计的机房,可能在下一代硬件到来时面临结构性返工。电力架构正在取代芯片参数,成为决定 AI 工厂算力上限的第一约束。谁先把 800V 写进设计规范,谁就掌握了下一轮扩容周期的主动权。

Agentic AI 正在重塑基础设施:从 token 到沙盒的新算力经济学

· 阅读需 5 分钟
Industry Research Team

聊天机器人时代,衡量算力的单位是 FLOPS 和 token/s。2026 年,随着企业 Agent 从"回答问题"转向"完成任务",一种新的计量单位开始流行——沙盒/秒。基础设施的每个环节,正在被这种新工作负载重新定价。

Agent 工作负载的"三高"​

Agent 与传统推理的本质区别在于它不是一次请求、一次回答,而是一个持续数十步的执行循环:每一步都要启动工具、运行代码、读写环境、反思结果。这给基础设施带来"三高"压力。

第一,高并发沙盒。Agent 执行任务需要隔离的代码执行环境,Daytona 在 2026 年 10 月 10 日发布的智能体基准显示:在 8×EPYC 9755 服务器上,基于 Vera CPU 的方案 10.8 秒即可上线 1000 个沙盒,峰值达 13.3 任务/秒,扩展到 2000 沙盒耗时 27.4 秒——沙盒的创建延迟,正在成为 Agent 平台的核心 SLO。第二,高频短请求。一个任务循环里包含大量短小的模型调用(工具选择、结果解析、路由判断),这类请求的 prefill 远大于 decode,与聊天场景的负载曲线完全不同。第三,大 KV Cache。Agent 会话动辄数十万 token,NVIDIA RTX Spark 甚至把 100 万 token 上下文作为桌面级卖点,长会话的 KV Cache 成了显存的最大消耗者。

机构口径显示,AI 推理的 token 消耗已达人类用户直接使用量的约 5 倍——机器与机器之间的对话,正在取代人与人之间的对话,成为算力的主要买家。

算力计量单位的变迁​

时代计量单位代表指标采购逻辑
训练为王FLOPS峰值算力比参数表
推理规模化token/s吞吐与延迟比单位 token 成本
Agent 时代沙盒/秒、任务/秒环境创建延迟、任务完成率比任务执行成本

这个变迁的深层含义是:采购决策从"买算力"变成"买任务完成能力"。Meta 的 Hatch 以每月 199.99 美元的价格出售自主 Agent(接入 DoorDash、Etsy、Reddit、Outlook),Google Cloud 的 Gemini 企业 Agent 强调"做工作而非答题",OpenAI 的 Presence 企业 Agent 进入有限 GA——定价单位都是"订阅/任务",倒推回基础设施层,就是沙盒密度与任务吞吐。

decode 阶段专用硬件的兴起​

Agent 循环里最伤延迟的不是 prefill,而是 decode——每一步的生成速度直接决定用户等待时间。NVIDIA 在 Vera Rubin 平台的七芯片堆栈里塞进了一颗非典型成员:Groq 3 LPX,定位是"专为智能体解码阶段设计的低延迟推理加速器"。这是 NVIDIA 第一次在旗舰平台里为 decode 单独配一颗 ASIC,与 Rubin GPU(管 prefill 和训练)形成分工。

逻辑不难理解:prefill 是算力受限,GPU 的 FLOPS 越多越好;decode 是带宽与延迟受限,堆 FLOPS 无济于事,需要的是针对逐 token 生成的访存优化。当 Agent 流量的 decode 占比持续上升,专用 decode 硬件就有了独立存在的经济学基础——正如当年推理从训练中拆分出来催生了推理 ASIC 一样,decode 正在从推理中再拆分出来。

上下文内存成为新基建​

Agent 的长会话必须能"暂停、保存、恢复"——用户中午发起的任务,Agent 下午继续执行时,几十万 token 的上下文不能重算。这催生了一层新基础设施:上下文内存。NVIDIA 把 BlueField-4 DPU 升级为推理上下文内存存储平台,宣称 token 吞吐最高提升 5 倍;华为同步发布 OceanStor M900 上下文内存存储集群,通过灵衢总线一跳直连,为昇腾超节点提供 PB 级 KV Cache,并把 SSD 读写寿命延长 16 倍。

Vera CPU 的高密度机架同样服务于这个趋势:单机架最大 256 颗 Vera CPU、支持同时运行超过 2.25 万个并发环境——CPU 不再只是 GPU 的陪衬,而是沙盒编排与上下文管理的专职引擎。

企业级门槛与采购建议​

Agent 进入企业还多了一层合规门槛:agent 身份(每个 Agent 是谁、权限多大)、操作日志(每一步做了什么)、回滚能力(出错如何撤销)。这些要求把"执行层"变成了强粘性资产——模型可以随时换,但嵌入业务流程的执行层一旦部署就很难被替换。这也解释了为什么企业 Agent 的竞争焦点从"回答质量"迅速转向"任务完成"。

给采购与架构师三条建议:第一,评估 Agent 平台时先看沙盒指标——创建延迟、并发密度、任务/秒,而不是 GPU 型号;第二,规划推理集群时预留上下文存储层,BlueField-4 类平台和 PB 级 KV 存储应当进采购清单;第三,关注 decode 专用硬件的落地节奏,LPX 这类组件可能重新划分推理服务器的内部配比。

小结​

Agentic AI 把算力经济学从"每 token 多少钱"推进到"每任务多少钱":高并发沙盒要求 CPU 密度,高频短请求要求 decode 专用硬件(Groq 3 LPX 是第一个信号),大 KV Cache 要求 PB 级上下文内存基建。Daytona 基准里 10.8 秒上线 1000 沙盒的成绩单,预示着"沙盒/秒"将成为下一轮基础设施比拼的通用语言。谁能把执行层做深、把上下文存好、把 decode 做快,谁就握住了 Agent 时代的入口。

5000亿美元涌向 AI 财团:这轮融资狂潮与2000年有何不同

· 阅读需 6 分钟
Industry Research Team

高盛的最新统计显示,今年至今投资者已向 AI 财团提供约 5000 亿美元融资,且云服务商的债务发行已经扩展到欧元、加元等多个市场。NVIDIA 投资 OpenAI、博通为 OpenAI 筹债、SpaceX 借钱买卡——供应商与客户之间的资金循环越来越复杂。这轮融资狂潮与 2000 年电信泡沫究竟有何异同?

5000 亿美元:融资全景​

据高盛(2026 年 10 月 10 日 AIGC 早报口径)统计,今年至今投资者已向 AI 财团提供约 5000 亿美元融资。更值得注意的是债务发行的货币多元化:云服务商已把债务发行从美元市场扩展到欧元、加元等市场,这说明融资需求大到单一市场难以承接,也说明全球固定收益投资者正在系统性接纳 AI 基础设施作为资产类别。

融资案例:钱从哪来,流向哪去​

主体交易结构金额
GMI Cloud(GPU 云)NVIDIA 参与的 2.23 亿美元股权 + 台湾中国信托商业银行领投 4.45 亿美元信贷6.68 亿美元
Firmus(AI 基础设施)IPO,约 50% 股份分配给现有持有人投资者需求超发行规模,澳洲最大 IPO 之一
博通 → OpenAI为定制芯片筹资(早期约 300 亿美元债务磋商)超 500 亿美元
SpaceX → NVIDIAApollo 牵头:100 亿美元银行贷款 + 300 亿美元投资级债务400 亿美元
亚马逊售后回租十余座数据中心 Grace Blackwell 芯片,另拟向投资者转让约 80 亿美元芯片资产盘活
NVIDIA → OpenAI非控股股权投资 + 10GW 算力承诺1000 亿美元

几个案例值得展开。GMI Cloud 的结构是典型的"股债混合":GPU 云公司同时拿到 NVIDIA 的股权背书和商业银行的信贷支持,NVIDIA 参股本身就成了债务融资的信用增强。Firmus 的 IPO 则展示了需求端的疯狂——投资者需求超过发行规模,以至于约 50% 的股份直接分配给现有持有人,成为澳洲最大 IPO 之一。SpaceX 的 400 亿美元融资完全用于购买 NVIDIA 芯片,由 Apollo 牵头,拆成 100 亿美元银行贷款加 300 亿美元投资级债务——一家航天公司为买芯片发行投资级债券,这在三年前不可想象。

循环交易结构图解​

把这些交易连起来看,会形成一个闭环:

NVIDIA ──1000亿投资──→ OpenAI
↑ │
│ 采购芯片 │ 定制芯片订单
│ ↓
SpaceX/云厂商 ←──博通筹资500亿(债务)
│ │
│ 抵押/回租芯片 │ 债务发行
↓ ↓
银行/私募信贷/公开市场投资者(5000亿总量)

循环的每一环都合理:NVIDIA 投资客户以锁定采购(1000 亿美元对应 10GW 承诺);博通靠 OpenAI 定制芯片订单筹资扩产;SpaceX、GPU 云用债务买卡再靠租金还本付息;亚马逊用售后回租把沉淀在数据中心的芯片资产盘活成现金流。但闭环的风险也在于此——每一方的偿付能力都依赖于循环不中断。一旦 GPU 租金价格下行或 AI 收入不及预期,链条上最脆弱的一环会传导给所有人。

与 2000 年电信光纤泡沫的异同​

维度2000 年电信光纤泡沫2026 年 AI 财团融资
底层资产暗光纤(长期过剩)GPU 算力(当前供不应求)
收入基础收入证明缓慢有真实收入(推理需求真实增长)
融资主导股权 + 高收益债债务主导(银行贷款 + 投资级债)
集中度多家电信运营商分散集中度更高(少数财团互为交易对手)
资产贬值速度光纤几乎不贬值GPU 一年一代,贬值快

相同点是"基建先行、收入后置"的赌注结构,以及供应商给自己客户输血的循环感。不同点同样关键:本轮有真实收入——推理需求是实实在在的付费市场,这与当年"建好光纤等流量"的空想不同;但本轮集中度更高,少数几个财团互为最大客户和最大债权人,系统性关联风险远超当年。更麻烦的是债务主导:2000 年泡沫破裂主要由股东承担损失,而本轮大量融资是投资级债务和银行贷款,一旦违约将直接冲击信贷市场。

风险监测清单​

华尔街正把 AI 数据中心投资打包为公开市场产品——在政治与建设风险上升的背景下,普通投资者也将被卷入这个循环。以下是一份风险监测清单:

  1. GPU 租赁价格曲线:租金下行是循环断裂的第一信号;
  2. 债务展期条件:关注博通、SpaceX 类大额融资的再融资成本变化;
  3. 供应商应收账款质量:NVIDIA 对客户的投资与销售绑定,收入质量需打折扣看待;
  4. 资产证券化进度:芯片回租、资产转让产品化的规模与折价率;
  5. 政策风险:出口管制变化对跨境算力租赁结构的影响;
  6. 电力与建设进度:数据中心延期交付直接冲击按产能定价的债务模型。

小结​

5000 亿美元的 AI 财团融资规模已经超过多数国家级基建预算,其结构特征是债务主导、循环交易和高度集中。与 2000 年相比,本轮有真实收入支撑,这与光纤泡沫有本质区别;但集中度更高、债务占比更大、资产贬值更快,三点决定了风险一旦暴露会传导得更快。循环交易本身不是原罪——产业链上下游互相投资在重资产行业并不罕见——但它放大了周期。对参与者和观察者而言,重点不是预测泡沫何时破裂,而是盯住租金价格、债务展期和资产证券化折价这三个先行指标。

百万卡级 TPU 协议:Anthropic 与谷歌重新定义 AI 算力合作规模

· 阅读需 4 分钟
Industry Research Team

一份价值数百亿美元的合同,至多 100 万颗 TPU,超过 1 吉瓦的算力容量。Anthropic 与谷歌的这次扩约,把云厂商自研芯片从内部工具推向了 AI 时代的硬通货。

协议全貌:最大规模的 TPU 外部订单​

2025 年 10 月 23 日,Anthropic 与 Google Cloud 联合宣布扩大合作:Anthropic 将获得至多 100 万颗谷歌自研 TPU 以及额外云服务资源,用于训练和服务未来数代 Claude 模型;超过 1 吉瓦的算力容量自 2026 年起陆续上线。双方确认协议总价值达数百亿美元级别,是 Anthropic 迄今最大的一笔 TPU 承诺,也是谷歌 TPU 对外供应史上规模最大的单一订单。

行业测算显示,1 吉瓦数据中心的建造成本约 500 亿美元,其中芯片部分通常占约 350 亿美元。以此对照,这份协议的分量不言而喻。作为对照,OpenAI 此前签署的一系列协议涉及约 26 吉瓦以上的算力承诺,而 Anthropic 的打法显得更克制也更聚焦:不追求纸面吉瓦数,而是绑定性价比。

合作要素具体内容
签约时间2025 年 10 月 23 日
芯片规模至多 100 万颗 TPU
算力容量超过 1 吉瓦,2026 年起上线
协议价值数百亿美元级别
核心芯片第七代 TPU Ironwood 等
用途Claude 系列模型训练与服务

为什么是 TPU:性价比与多云策略​

Anthropic 给出的选型理由十分务实:TPU 的性价比与能效表现突出,且团队自 2023 年起就有在 TPU 上训练与服务 Claude 的经验。谷歌云 CEO Thomas Kurian 强调,这次扩约印证了 TPU 多年积累的成熟度,并以第七代 Ironwood 作为产品组合的代表。

更深层的原因在于 Anthropic 的多云架构。据 CNBC 报道,Claude 的训练与服务横跨三大算力底座:亚马逊 Trainium(包括 Project Rainier 超算集群)、英伟达 GPU 与谷歌 TPU,不同平台按训练、推理、研究等负载分工。这种策略在 2025 年 10 月 AWS 大规模宕机事件中得到验证——得益于算力来源分散,Claude 服务未受波及。对 Anthropic 而言,不与任何单一云厂商绑定,既是供应安全,也是议价筹码。

需求侧的底气:收入与客户的爆发式增长​

支撑百万卡级采购的,是 Anthropic 自身的业务曲线。签约时点,其年化收入运行率已接近 70 亿美元,超过 30 万家企业客户使用 Claude,两年内增长约 300 倍;年贡献超过 10 万美元的大客户数量一年内增长近 7 倍。Claude Code 上线仅两个月即实现 5 亿美元年化收入,被公司称为史上增长最快的产品之一。

谷歌在合作中的角色也不仅限于芯片供应商。谷歌此前累计向 Anthropic 投入约 30 亿美元,据 2026 年披露的法庭文件持有该公司约 14% 的股权,同时 Claude 也通过 Vertex AI 面向企业客户分发。算力供应加股权绑定加渠道分发,构成了三重利益联盟。

小结​

这份协议的产业信号十分清晰:第一,自研加速器已经成为头部 AI 公司采购算力的主流选项,TPU 正从谷歌内部资产变成对外收入来源;第二,多云算力策略成为前沿 AI 公司的标准配置,单一供应商模式正在瓦解;第三,随着 2026 年这批 TPU 陆续上线,Anthropic 与 OpenAI 之间的算力竞赛将进入吉瓦级对标的新阶段。

B300 与 GB300 有何不同:Blackwell Ultra 的两种打开方式

· 阅读需 4 分钟
Industry Research Team

同一套 Blackwell Ultra 硅片,NVIDIA 给了它两个名字、两种形态:B300 是可以进风冷机柜的 8 卡节点核心,GB300 则是焊进 NVL72 机柜的机柜级答案。分清两者,是 2026 年 Blackwell 采购的第一道题。

B300:先看芯片本身改了什么​

B300 是 B200 的" Ultra "增强版:同样的双 Die Blackwell 架构,但显存堆叠从 8-Hi 换成 12-Hi,容量从 192GB 提升到 288GB(提升 50%);NVFP4 稠密算力提升到约 15 PFLOPS,约为 B200 的 1.5 倍;功耗上限从 1,000W 提到 1,400W。两处容易被忽略的变化:FP64 性能大幅削减至约 1.25 TFLOPS(B200 为 37 TFLOPS),HPC 科学计算用户需特别留意;稀疏比也从常见的 2 倍收敛到约 1.33 倍(15 稠密对 20 稀疏),容量规划时不能沿用旧公式。

规格B200B300(Blackwell Ultra)
显存192GB HBM3e288GB HBM3e(12-Hi 堆叠)
显存带宽8TB/s8TB/s
FP4 稠密/稀疏9 / 18 PFLOPS15 / 20 PFLOPS
FP8 稠密/稀疏4.5 / 9 PFLOPS5 / 10 PFLOPS
最大功耗1,000W1,400W(另有 1,100W 风冷档)
NVLink1.8TB/s1.8TB/s
PCIeGen5Gen6(256GB/s)

B300 并非只有液冷一档:1,400W 顶配档需要直冷液冷,但 1,100W 档支持风冷,NVIDIA 自家的 DGX B300 就是风冷系统,Supermicro 也有 8U 风冷 HGX B300。真正的硬约束是整机功耗——8 卡节点仅 GPU 就要 8.8kW 至 11.2kW,加上 CPU 与网络,单节点约 14 至 15kW,远高于 H200 节点。

GB300:超级芯片与 20TB 机柜​

GB300 不是"更快的 B300",而是另一种产品:Grace CPU 与两颗 B300 组成的超级芯片(超级芯片功耗约 3,000W,含两颗 1,400W B300 与约 200W Grace)。以它为单元的 GB300 NVL72 机柜集成 72 颗 B300 与 36 颗 Grace,组成 130TB/s 的单一 NVLink 域,GPU 显存合计约 20TB HBM3e。

指标B300 节点(8 卡)GB300 NVL72(机柜)
组成8 颗 B300 + 2 颗 x86 CPU72 颗 B300 + 36 颗 Grace
显存合计2.3TB HBM3e约 20TB HBM3e
FP4 稠密约 120 PFLOPS约 1.1 EFLOPS
网络侧ConnectX-7 400G 起ConnectX-8 800G
散热风冷或液冷可选强制全液冷
形态标准机架服务器定制机柜,约 120kW 级

两者的分工与 GB200 NVL72 一脉相承:B300 节点服务"8 卡能装下"的负载,GB300 NVL72 服务万亿参数与巨型 MoE。相比 GB200 NVL72,GB300 机柜的稠密 FP4 算力提升 50%,显存从 13.4TB 增至 20TB,网络升级到 800G,对推理时代的长上下文与多轮 Agent 场景更友好。据公开报道,GB300 NVL72 机柜价格约在 370 万至 400 万美元区间。

选型建议​

三步判断。第一步看模型规模:单副本权重加 KV Cache 能进 180GB(B200)就不用看 B300;需要 288GB 单卡容量或 1.5 倍 FP4 吞吐,选 B300 节点;张量并行超过 8 卡、或 KV Cache 需要机柜级共享,进 GB300 NVL72。第二步看机房:风冷机房先把 B300 排除在 1,400W 档之外,GB300 NVL72 需要完整液冷改造。第三步看精度需求:FP64 密集的科学计算请留在 Hopper 或 HPC 专线,B300 会让你失望。

小结​

B300 与 GB300 是同一代硅片的两种野心:前者把 Blackwell Ultra 塞进可管理的 8 卡节点,是 2026 年高端推理与微调的主力;后者把它推向 20TB 显存的机柜级单一域,是 AI 工厂的正装。想清楚"8 卡够不够、机房供不供得起",这道二选一就不难。

冷板 vs 浸没式液冷:一张改造成本对照表

· 阅读需 4 分钟
Industry Research Team

GB200 NVL72 这类整机柜方案只提供液冷版本,液冷已从"技术选型题"变成"工程落地题"。但冷板与浸没式不是简单的技术优劣之分,而是两个完全不同的投资模型与运维模型。本文聚焦改造成本,帮你把预算花在正确的地方。

两条路线的本质区别​

冷板式(Direct-to-Chip)通过金属冷板贴合 GPU、CPU 等发热芯片,冷却液在板内微通道流动带走热量,大约能拦截整柜热量的七到九成,剩余部分仍需风冷兜底。浸没式则把整台服务器浸泡在介电液体中,热量几乎全部由液体带走,单相浸没制冷能力超过每柜 100kW,两相方案可达 200kW 以上;而冷板单相方案的典型上限在每柜 60 至 100kW。

风冷的安全上限业界普遍认为在每柜 25 至 40kW。这意味着:如果改造目标只是把 8kW 老机房升级到 20kW 跑 H100,冷板甚至后门热交换器可能都非必需;但只要目标机柜是 GB200 级别,冷板就是入场券,浸没式则属于"为下一代密度提前买单"。

一张改造成本对照表​

对比项冷板式液冷浸没式液冷
单柜制冷能力约 60 至 100kW单相超过 100kW,两相可达 200kW 以上
典型 PUE1.1 至 1.2可低至 1.05 及以下
初期投资中等,约为浸没式的三至五成高,单柜约为冷板式的 2 至 3 倍
核心成本部件冷板占 40 至 45%,CDU 占 30 至 35%,快接头占 15 至 20%介电冷却液占 30% 以上,液冷槽与 CDU 次之
改造难度中等:加装 CDU、机柜管路与歧管高:需专用浸没槽、承重加固与地板重构
与现有服务器兼容性好,标准机型即可差,需浸没专用机型或去风扇改造
运维复杂点漏液检测、快接头插拔纪律、水质管理冷却液黏度与材料兼容性、维护取放流程
适用场景GB200 级新建与存量改造主流超高密度新建、比特币转型 IDC、极低 PUE 硬指标

几个来自公开测算的锚点数字:GB200 NVL72 一柜的液冷部件价值约 9.9 万美元,其中 CDU 约 3 万美元、冷却歧管与快接头各约 1.2 万美元,冷板与 CDU 合计占方案价值约四分之三;而一套 100kW 级单相浸没系统的价值测算区间约在 9 万至 18 万美元,且冷却液本身是持续消耗品。机房整体改造方面,业界经验值是每兆瓦 400 万至 800 万美元(不含 IT 硬件),周期可长达一年半。

运维视角:钱不只是花在建的时候​

冷板路线的最大隐性成本在漏液与插拔纪律。快接头每次插拔都是风险窗口,冷板属于精密 consumable,多次维护后需要更换;CDU 的水质与滤芯管理要纳入例行巡检。浸没式则把复杂度转移到了"拿进拿出":任何一次维护都要整板吊出、滴液、清洁,工时远高于冷板,但对管路漏液的天然免疫是它的独特优势。

另一个常被忽视的差异是资产流动性:冷板服务器仍是标准形态,可以转售、搬迁、回风冷机房;浸没式服务器与槽体、冷却液深度绑定,二手流通性差。做五年 TCO 测算时,这块残值差异不能忽略。

写在最后​

选型建议按三步走:第一,先定功率密度目标再定技术路线,每柜 30kW 以内优先考虑风冷加后门改造,60 至 100kW 选冷板,120kW 以上或对 PUE 有硬性红线再评估浸没式;第二,测算 TCO 时把快接头耗材、冷却液补充、维护工时和设备残值全部纳入,不要只比建设报价;第三,无论哪条路线,先建漏液告警与应急预案再上电。液冷没有回头路,第一步的工程决策值千金。

集合通信科普:AllReduce 如何吃掉你的训练时间

· 阅读需 4 分钟
Industry Research Team

训练扩卡之后,性能却不是线性增长——八卡的效率可能只有七成,六十四卡可能只剩一半。损耗的大头往往不在计算,而在集合通信:每一步训练结束后,所有卡都要把梯度"对齐"。这个动作叫 AllReduce,它是分布式训练中最基础的集体操作,也是最容易被低估的时间黑洞。

AllReduce 到底在做什么​

数据并行是最常见的训练方式:每张卡持有完整模型副本,各处理一小批数据,算出的梯度彼此不同。参数更新前必须让所有卡上的梯度变成同一个平均值——这个"各自有个数,最后大家拿到同样的和"的操作就是 AllReduce。

工程实现上它通常拆成两步:ReduceScatter(各卡各拿总和的一部分)加 AllGather(再把各自的那份广播给所有人)。关键在于算法选择:环形(Ring)算法让每张卡只与相邻两卡通信,数据像接力一样绕环一周。可以证明,环形的总传输量对每张卡约为 2 乘以 N 减 1 再除以 N 乘以数据量——数据量是梯度总大小,N 是卡数。当 N 较大时,这近似等于"两倍梯度大小",与卡数基本无关,因此被称为带宽最优算法。树形算法时延特性更好,适合小消息;实际系统中则常按网络拓扑做分层:节点内走 NVLink 高带宽环,节点间走 InfiniBand,两层各用各的最优算法。

一笔具体的时延账​

以 7B 模型混合精度训练为例,梯度约 14GB。八卡节点内 AllReduce,每卡收发总量约 2 乘 8 分之 7 乘 14GB,约 24.5GB;H100 节点内 NVLink 有效带宽按数百 GB/s 计,耗时约几十毫秒,相对于每秒多次的迭代尚可接受。但同一笔账放到跨机场景就难看了:若节点间只有 400Gbps 一条链路(约合 50GB/s),同步 14GB 梯度的耗时将以数百毫秒计,一步训练被通信拖成两倍长。

这正是大规模训练的共性困境:计算随卡数线性扩,而网络带宽扩不过卡数。节点内外带宽差出一个数量级,通信分层与流量调度因此成为大规模集群设计的核心功课。

压缩通信的三板斧​

手段原理典型收益
梯度分桶与计算重叠反向传播中先算完的层先通信,与后续计算并行掩盖大部分节点内通信
状态分片(ZeRO 类)把优化器状态与梯度切分到各卡,减少冗余同步通信量与显存同时下降
精度与压缩低精度梯度、稀疏化或低秩压缩后再同步通信量成倍下降,需评估收敛

三板斧之外还有架构层面的选择:增大每卡 batch 提高计算通信比、流水线并行减少同步频率、以及 MoE 场景改用 all-to-all(那是另一个故事)。它们的共同目标是同一个——让每字节数据通信期间,算力单元别闲着。

实操建议​

拿到集群先别急着堆模型:跑一遍基准的 AllReduce 带宽测试,确认节点内与节点间的实测有效带宽与规格的差距;训练中用 profiling 工具看通信时间占比,超过一成就说明优化空间在通信侧而不是算力侧。买卡时也别只比 FLOPS——节点内互连带宽与网络规格,在规模化训练里的重要性不亚于算力本身。

xAI Colossus 2 与全球十万卡级训练集群竞赛

· 阅读需 4 分钟
Industry Research Team

从动工到全球首个吉瓦级训练集群投运,xAI 只用了不到一年。Colossus 2 不只是一座数据中心,它重新定义了前沿 AI 竞赛的入场券价格。

Colossus 2:吉瓦级集群的扩张节奏​

Colossus 2 位于田纳西州孟菲斯,2026 年 1 月 17 日由马斯克宣布投入运行。据其 9 月 25 日披露,集群现有 11 万颗 GB200 与 44 万颗 GB300 加速器,并计划在年底前分三批再各增加 22 万颗 GB300——若全部兑现,Colossus 2 单站加速器总数将达约 121 万颗,加上 Colossus 1 的约 23 万颗(15 万 H100、5 万 H200、3 万 GB200),整个孟菲斯园区将逼近 144 万颗英伟达加速器。

扩张速度背后是一套非常规建设方法。据 SpaceX 证券文件,首个 Colossus 2 集群(约 11 万颗 GB200、210 兆瓦算力)从建成到上线仅用 91 天,第二个集群(11 万颗 GB300、约 220 兆瓦)只用了 64 天。独立研究机构 Epoch AI 估算,Colossus 2 已投入资本约 358 亿美元,若完成全部扩建可能高达 580 亿美元,其中仅 GPU 采购就超过 180 亿美元。

指标Colossus 1Colossus 2
上线时间2024 年2026 年 1 月
加速器构成约 23 万颗 H100、H200、GB200约 55 万颗 GB200、GB300(9 月)
年底目标维持现有规模约 121 万颗
电力负荷数百兆瓦初始 1 吉瓦,目标 2 吉瓦
建设节奏122 天建成首个集群91 天上线首个 11 万卡集群

电力、散热与环保争议​

吉瓦级集群的真正瓶颈不在芯片而在能源。Colossus 2 采用"电网加自备电厂加储能"的三重方案:邻近的密西西比州配套建设了总装机超过 100 万千瓦的天然气电厂(41 台涡轮机获监管批准),现场部署了大量特斯拉 Megapack 电池储能,媒体报道其储能规模约 2000 兆瓦功率、3.3 吉瓦时容量,被称为全球最大的电网级电池系统之一。散热方面,集群采用超微设计的端到端芯片级液冷,据报道可将 PUE 控制在 1.12 左右。

粗放扩张的代价是监管风险。美国环保署裁定 xAI 曾违规运行未获空气质量许可的天然气涡轮机;环保组织已在联邦法院提起诉讼;根据与州监管机构达成的协议,约 69 台临时涡轮机须在 2027 年年中前逐步退出,由永久性电厂替代。这套"先上车后补票"的供电模式,正在成为超大规模集群建设的争议焦点。

从自用训练到算力出租:商业模式的变化​

Colossus 2 的角色已从 xAI 专属训练设施转变为对外收费的算力平台。据彭博等媒体报道,谷歌以每月约 9.2 亿美元租用约 11 万颗 GPU(合同期至 2029 年,总额超过 300 亿美元);Anthropic 的租约据报接近每月 12.5 亿美元;另有未具名客户自 12 月起每月支付约 11 亿美元。2026 年 2 月 SpaceX 完成对 xAI 的收购后,这套资产被并入上市公司体系,据其 IPO 路演材料披露,AI 板块 2025 年营收 32 亿美元、经营亏损 64 亿美元。

一个耐人寻味的技术细节是:据 2026 年 5 月的报道,xAI 集群的模型浮点运算利用率仅约 11%,内部备忘录称该数字"低得尴尬",反映出血膨胀的加速器规模与软件调度效率之间的落差。

小结​

Colossus 2 证明了两件事:其一,吉瓦级训练集群可以在一年内从图纸变为现实,算力竞赛的节奏由能源与供应链而非技术能力决定;其二,超大规模集群的商业模式正在从"训练自家模型"转向"对外批发算力",谷歌、Anthropic 租用竞争对手体系内的 GPU,说明前沿 AI 的算力短缺已经到了不讲阵营的地步。全球范围内,微软、Meta、谷歌与中国的万卡集群同步扩张,但论单点规模与建设速度,孟菲斯目前没有对手。

算力资产金融化:芯片回租、GPU 抵押与"卡本位"融资

· 阅读需 6 分钟
Industry Research Team

当亚马逊把十余座数据中心的 Grace Blackwell 芯片售后回租、GMI Cloud 拿到 4.45 亿美元银行信贷、腾讯通过 Oracle 租用 10 万颗芯片时,GPU 已经不只是计算设备,而是一种可融资、可抵押、可证券化的金融资产。"卡本位"融资正在重塑 AI 行业的资产负债表。

芯片成为金融资产的三种形态​

传统观念里,服务器芯片是快速贬值的 IT 设备,进入资产负债表后只会计提折旧。2026 年的资本市场上,算力资产正在以三种形态被金融化:

形态代表案例资金方商业逻辑
售后回租亚马逊十余座数据中心 Grace Blackwell 芯片租赁/投资机构出让资产 + 长期租回,释放基建现金流
抵押信贷GMI Cloud 4.45 亿美元银行信贷(台湾中国信托商业银行领投)商业银行GPU 抵押 + 合同现金流授信
租赁通道腾讯租用 Oracle 10 万颗芯片云厂商绕开出口管制的使用权采购

这三种形态的共同前提是:GPU 的租金现金流足够稳定,可以被当作信贷的还款来源。这正是 GPU 云行业与传统 IT 采购最本质的区别——芯片变成了会持续产生租金的收入型资产。

案例拆解:从回租到租赁通道​

亚马逊:售后回租与资产转让​

亚马逊正在推进两条并行的资产盘活路径:其一,对旗下十余座数据中心的 Grace Blackwell 高端芯片做售后回租——"出让资产 + 长期租回",用一次性回款缓解算力基建的现金流压力,代价是支付长期租金;其二,据 The Gist/FT 口径(2026 年 10 月 8 日),亚马逊另拟向投资者转让约 80 亿美元 NVIDIA 芯片资产。作为手握约 2200 亿美元 2026 年 capex 的最大买家,亚马逊把沉淀的芯片资产重新变成流动性,本质上是在为下一轮采购腾出资产负债表空间。

GMI Cloud:GPU 抵押信贷的样板​

GMI Cloud 的 6.68 亿美元融资拆成了两层:NVIDIA 参与的 2.23 亿美元股权,加上台湾中国信托商业银行领投的 4.45 亿美元信贷。银行愿意给一家 GPU 云公司放贷,看中的是其 GPU 资产和租赁合同现金流——NVIDIA 的股权参与又进一步增强了信用。这是"卡本位"信贷的完整样板:芯片做抵押物,租金做还款来源,厂商背书做信用增强。

腾讯:租赁通道与合规灰区​

腾讯租用 Oracle 10 万颗芯片的案例(2026 年 10 月 2 日 Slicast 报道)展示了第三种形态:不购买芯片所有权,而是采购算力使用权。这种模式被广泛解读为绕开出口管制的租赁安排——管制限制的是芯片出口,而云端算力的跨境租用处于监管的模糊地带。需要强调的是,这类结构的合规边界并不清晰,各国出口管制规则仍在动态调整,"租赁即合规"的假设存在政策风险。

SpaceX 与博通:债务买卡的资金源头​

SpaceX 拟以 400 亿美元融资购买 NVIDIA 芯片(Apollo 牵头:100 亿美元银行贷款 + 300 亿美元投资级债务);博通则为 OpenAI/Anthropic 的定制芯片安排数百亿美元债务。加上 NVIDIA 1000 亿美元投资 OpenAI,债务买卡的资金池已经大到足以改变芯片行业的商业模式——从"客户付钱买卡"变成"资本市场付钱买卡,客户用租金还钱"。

"卡本位"估值的关键假设​

把 GPU 当作可融资资产,估值模型建立在几个关键假设之上,而这些假设恰恰是最脆弱的环节:

假设一:残值率。 信贷方给 GPU 估值时必须假设芯片几年后的残余价值。传统服务器的残值模型在 GPU 上未必成立——B300 当前租金可达 9.50 美元/GPU 小时(Nebius 口径),但三年后的租金和残值高度不确定。

假设二:技术迭代贬值速度。 NVIDIA 已进入 Rubin 一年一代的节奏。当新一代芯片的性能/瓦优势足够大时,旧卡租金会加速下滑,残值假设被击穿,抵押物价值缩水会直接触发信贷条款重估。一年一代的迭代周期,本质上是在加速抵押品的贬值曲线——这是"卡本位"融资与房产抵押贷最根本的不同。

假设三:需求连续性。 租金现金流的稳定性依赖 AI 推理需求的持续增长。算力供给的大规模释放(各家 AI 工厂 2027-2028 年集中交付)可能改变供需平衡。

对 GPU 云创业公司资产负债表的重塑​

算力金融化对 GPU 云创业公司是双刃剑。好的一面:融资渠道从股权扩展到债务,GMI Cloud 证明了银行信贷可以成为股权之外的第二资金来源,创始人稀释更少、扩张更快。坏的一面:资产负债表上堆积了大量以 GPU 为抵押的债务,让本就重资产的模式更加脆弱——租金价格下行 20%,可能同时冲击收入端和抵押物估值端,形成双重挤压。

对比之下,Oracle、亚马逊等巨头通过回租和资产转让把风险向投资者转移,创业公司反而更依赖抵押信贷。融资结构的分化,将在下一轮周期波动中重新洗牌 GPU 云行业的座次。至于 Oracle 用燃气卡车运电维持数据中心运转所暴露的高运营成本,则提醒所有信贷方:GPU 资产的"持有成本"里,电费可能是比折旧更凶猛的现金流出。

小结​

算力资产金融化已经形成三种成熟形态:亚马逊式的售后回租释放现金流、GMI Cloud 式的抵押信贷打开债务融资渠道、腾讯式的租赁通道解决跨境采购。支撑"卡本位"估值的是残值率、贬值速度和需求连续性三大假设,而 Rubin 一年一代的迭代节奏正在持续考验第一和第二个假设。对 GPU 云创业公司而言,债务杠杆放大了扩张速度,也放大了周期风险;对信贷方而言,给会快速贬值的芯片做抵押,风控逻辑必须区别于传统资产。算力金融化让行业跑得更快,也让下一轮回调来得更有杠杆——这是所有参与者在享受低息资金红利时,必须同步想清楚的问题。

GB200 NVL72 架构拆解:72 卡为何是一个"GPU"

· 阅读需 4 分钟
Industry Research Team

黄仁勋在发布时说,GB200 NVL72 是一台"大 GPU"。这不是营销修辞:72 颗 Blackwell GPU 通过九层 NVSwitch 连成单一 NVLink 域,任何两卡之间的通信都不必经过机柜外网络。理解这台机器,关键在理解它如何消灭"节点边界"。

机柜解剖:18 个计算托盘、9 个交换托盘​

GB200 NVL72 的基本单元是 GB200 超级芯片:一颗 72 核 Grace CPU(Arm Neoverse V2)通过 NVLink-C2C 以 900GB/s 的缓存一致性互联挂载两颗 B200 GPU。18 个 1U 计算托盘各装两颗超级芯片,合计 36 颗 Grace 与 72 颗 B200;机柜中部竖插 9 个 NVSwitch 托盘,用约 3 公里长的铜缆把所有 GPU 织成一张完整无阻塞的 NVLink 5.0 交换网。

指标GB200 NVL72 单机柜
GPU/CPU72 颗 B200 + 36 颗 Grace(72 核 Neoverse V2)
FP4 算力(稀疏)1.44 EFLOPS
FP8 算力(稀疏)约 720 PFLOPS
GPU 显存合计13.4TB HBM3e(每 GPU 192GB)
CPU 内存合计约 17TB LPDDR5X(每 Grace 480GB)
NVLink 总带宽130TB/s(每 GPU 1.8TB/s 双向)
机柜功耗约 120kW,强制液冷
机柜价格据公开报道约 200 万至 300 万美元

在上一代 HGX H100 体系里,8 卡节点内部靠 NVLink 互联,跨节点只能走 InfiniBand,带宽低一到两个数量级。任何需要 8 卡以上张量并行的任务,一旦集合通信溢出节点,单卡有效带宽会骤降一个数量级,通信时间反过来吞掉算力收益。

NVL72 的解法是把域直接扩大 9 倍:72 卡全对全互联后,万亿参数稠密模型或巨型 MoE 的张量并行、长上下文注意力的 KV Cache 共享,都可以在机柜内完成。配合 Grace 的缓存一致性设计,HBM 与 LPDDR5X 组成约 30TB 的统一可寻址内存池,CPU 与 GPU 之间无需显式拷贝。这就是"一个大 GPU"的实质:对并行策略而言,机柜边界消失了。

Grace CPU 的角色同样关键。它不是通用主机,而是专为 AI 服务器设计的 Arm 处理器:每颗 480GB LPDDR5X 提供约 4TB/s 的内存带宽,远高于 x86 服务器;数据预处理、token 化、KV Cache 管理这类原本消耗 GPU 时间的任务,被下放给 Grace,让 GPU 专注矩阵运算。

什么业务才配得上这 120kW​

NVL72 解决的是"单节点装不下"的问题,而不是所有问题。据公开报道,全机柜价格 200 万至 300 万美元,功耗约 120kW,整机 1.36 吨——标准数据中心大门都进不去,液冷改造按每兆瓦数百万美元计。

适合 NVL72不适合 NVL72
万亿参数稠密模型训练与推理70B 以下稠密模型(8 卡节点足够)
大规模 MoE 的全对全路由常规 200B 以下 MoE 微调
超长上下文、单域 KV Cache 共享标准企业级推理服务
前沿实验室的多机柜 AI 工厂预算敏感的租赁型业务

一个实用的判断门槛:当你的张量并行度或 KV Cache 体积明显超过 8 卡节点的物理上限时,NVL72 才开始产生不可替代的价值。多数企业负载(百亿到两三千亿参数)用 HGX B200 节点做扩展,每 token 成本反而更低。

小结​

GB200 NVL72 的本质是把"集群"压缩成"一台设备":用 130TB/s 的机柜内 NVLink、30TB 统一内存和 Grace 的算力卸载,消灭节点间通信这个老敌人。它是为万亿参数时代和 AI 工厂设计的基建产品——确认你的模型真的需要 72 卡一个域,再确认你的机房能承受 120kW 液冷,这两关都过了,它就是目前最强的单机柜答案。