Skip to main content

39 posts tagged with "AI Compute"

AI compute supply, demand and industry trends

View all tags

微软 Maia 200 量产落地:Azure 自研推理芯片的关键一跃

· 4 min read
Industry Research Team

距离第一代 Maia 100 发布两年多之后,微软的第二代自研 AI 加速器 Maia 200 终于从传闻走向量产部署。这枚专为推理打造的芯片,正在改写 Azure 的成本结构。

从跳票到落地:Maia 200 的问世之路​

微软的自研芯片计划于 2023 年 11 月首次公开,与 Cobalt CPU 同期亮相。但 Maia 系列的推进并不顺利,据公开报道,设计变更与人员流失曾迫使时间表一再推迟,量产节点最终落到 2026 年。2026 年 1 月 26 日,微软正式发布 Maia 200,部署几乎随后展开,从首颗封装芯片到机柜上线的时间据称缩短至同类项目的一半以内。

这枚芯片的核心参数相当激进:台积电 3 纳米工艺,单颗集成超过 1400 亿晶体管;配备 216GB HBM3e 显存,带宽达 7TB/s,另有 272MB 片上 SRAM 与专用 DMA 引擎;在 750W 的 SoC 功耗包络内,提供超过 10 PetaFLOPS 的 FP4 算力与超过 5 PetaFLOPS 的 FP8 算力。微软称其 FP4 性能是亚马逊第三代 Trainium 的 3 倍,FP8 性能超过谷歌第七代 TPU,每美元性能较 Azure 现有最新硬件提升 30%。

指标Maia 200 规格
制造工艺台积电 3 纳米
晶体管数量超过 1400 亿
显存216GB HBM3e,7TB/s 带宽
片上 SRAM272MB
算力FP4 超过 10 PetaFLOPS,FP8 超过 5 PetaFLOPS
功耗750W SoC TDP
互联每加速器 2.8TB/s 双向 Scale-up 带宽
集群规模最多 6144 颗加速器

标准以太网上的超大推理集群​

Maia 200 在系统层面有一个鲜明取舍:放弃私有互联协议,全面基于标准以太网构建两层 Scale-up 网络。每颗加速器提供 2.8TB/s 的双向专用带宽,单个托架内四颗芯片通过直连链路全互联,机架内与机架间则统一采用 Maia AI 传输协议,集群规模最大可扩展至 6144 颗加速器。

这套设计的商业逻辑很直白:推理是 Azure 每天承载的最大负载,而以太网生态的成熟度与成本优势远非私有协议可比。配合第二代闭环液冷换热单元和与 Azure 控制平面的原生集成,微软宣称这是其迄今部署过的效率最高的推理系统。

服务 GPT-5.2 与 Copilot,但不取代英伟达​

Maia 200 首批部署在爱荷华州德梅因附近的 US Central 区域,亚利桑那州菲尼克斯附近的 US West 3 区域紧随其后。它将承载 OpenAI 最新 GPT-5.2 系列模型的推理、Microsoft Foundry 与 Microsoft 365 Copilot 服务;微软超级智能团队也用它进行合成数据生成与强化学习,为下一代自研模型供料。与此同时,微软开放了 Maia SDK 预览,包含 Triton 编译器、PyTorch 支持与模拟器等工具。

值得注意的是,纳德拉明确表示微软将坚持"自研加外购"的双轨策略,继续向英伟达和 AMD 采购芯片。Maia 200 的定位是异构算力矩阵中针对推理优化的一环,而非全面替代。微软 2026 财年第一财季资本开支高达 349 亿美元,自研芯片每一分省下的成本,都直接体现在 Azure AI 的利润率上。

小结​

从 Maia 100 的试水到 Maia 200 的规模化部署,微软用两年多时间补上了超大规模云厂商自研芯片这块拼图。据公开报道,接替者 Maia 300 已在设计之中,时间线指向 2027 年。在谷歌 TPU 已开始对外销售、亚马逊 Trainium 加速扩张的背景下,Maia 系列的每美元性能优势,将决定 Azure 在 AI 推理时代的议价能力。

英伟达财报里的数据中心:收入结构与客户集中度解读

· 4 min read
Industry Research Team

当一家公司的九成收入来自同一个业务板块,而这个板块里又有三分之一以上来自两三个客户,财报阅读的方式就必须变了:你读的不只是一家公司的业绩,而是一张全球AI算力供需的压力表。

收入几乎全部押注数据中心​

英伟达2026财年(截至2026年1月25日)交出的成绩单是:全年营收2159.4亿美元,同比增长65%;GAAP净利润1200.8亿美元。其中数据中心业务贡献1934.8亿美元,同比增长68%,占总营收约89.7%。也就是说,游戏、专业可视化、汽车等所有其他业务加起来,只占一成出头。

第四财季的拆分更能说明结构变化:数据中心收入623.1亿美元,同比增长75%;其中计算业务(主要是GPU与系统)513.3亿美元,同比增长58%;网络业务109.8亿美元,同比增长263%。网络收入的爆发式增长来自GB200与GB300系统配套的NVLink交换机以及Spectrum-X以太网平台的交付放量——这说明英伟达卖的已经不再是"一颗芯片",而是整机柜级别的系统,网络互连正在成为第二增长曲线。

财报指标数值同比变化
2026财年总营收2159.4亿美元增长65%
数据中心全年收入1934.8亿美元增长68%
Q4数据中心收入623.1亿美元增长75%
Q4计算业务513.3亿美元增长58%
Q4网络业务109.8亿美元增长263%
期末采购义务950亿美元一年前约160亿美元

客户集中度:36%的收入来自两个名字​

真正的看点在客户结构。根据英伟达10-K文件披露,2026财年有两位直接客户分别贡献了总营收的22%和14%,两家合计36%。此前三季报披露的口径更细:2026财年第三季度,四家直接客户分别占22%、15%、13%和11%。同时,第四财季全球前五大云服务商和超大规模企业合计贡献了数据中心业务50%以上的收入。

这些匿名客户几乎可以确定是大型云厂商与系统集成商。对英伟达而言,这意味着收入基础并没有随着规模扩大而分散,反而在加速集中;对投资者而言,任何一家头部云厂商调整资本开支节奏,都会被放大传导到英伟达的收入表上。此外英伟达自己也在10-K中提示,部分间接最终客户的采购规模可能达到总营收的10%以上——集中度是双向的。

主权AI与采购义务:两个被低估的信号​

除了云大厂,2026财年主权AI业务贡献了超过300亿美元收入,采购方主要分布在加拿大、法国、荷兰、新加坡和英国。这为高度集中的客户结构提供了一定的对冲,但也意味着这块收入与政府预算周期高度绑定。

更值得关注的是资产负债表:期末"采购义务"(向台积电等供应商支付的不可取消采购合同)飙升至950亿美元,而一年前只有约160亿美元。这是英伟达在用真金白银为未来几个季度的出货背书。管理层给出的2027财年第一财季指引为780亿美元,且明确不含中国市场收入的假设。

研判:集中度是价签,也是风险敞口​

英伟达的财报正在变成一个宏观指标:S&P 500中其权重一度达到7.58%(据2026年3月底的ETF披露口径),这意味着英伟达股价每波动30%,指数本身就会被拖动约2.3个百分点,而财报中的客户集中度又把云厂商资本开支与这根杠杆直接焊在一起。收入结构上,计算与网络的双轮驱动、主权AI与系统级出货的放量,都指向2027财年继续增长的确定性;但36%收入系于两个客户的事实提醒我们:这份财报的核心风险不是需求,而是需求方的单一性。读懂英伟达,本质上是读懂少数几家公司的资本开支意愿。

量子计算与 AI:远水与近火的交汇点在哪里

· 4 min read
Industry Research Team

2025 年初,英伟达 CEO 说实用量子计算机还要十几年,量子股应声大跌;十个月后,谷歌在 Willow 芯片上跑出首个可验证的量子优势,同一位 CEO 公开承认判断有误。量子计算到底是 AI 的救世主还是永远的十年之约?把进展和边界分开看,答案才清晰。

真实进展:纠错跨过阈值线​

2024 年底,谷歌 105 量子比特的 Willow 芯片完成了一件三十年没人做到的事:逻辑量子比特的编码规模扩大时,错误率不升反降,指数级压制——这证明量子纠错在工程上真正可行,被业界称为"量子计算的 Transformer 时刻"。2025 年 10 月,谷歌在同一颗芯片上运行量子回声算法,拿到首个可验证的量子优势结果,据公开报道比传统超算快一万三千倍,且结果可在另一台量子计算机上复现。IBM 推出 120 量子比特的 Nighthawk,离子阱阵营 Quantinuum 把双比特门保真度推到 99.92%;英伟达则推出 CUDA-Q 与 NVQLink,把 QPU 定位成超算旁边的异构加速单元。

问题类型GPU 擅长程度QPU 潜力当前状态
大模型训练与推理极强,矩阵乘是本职基本无关GPU 主导,十年内难撼动
分子与材料模拟中等,近似方法强,天然匹配量子体系混合计算试点中,最接近落地
组合优化弱到中等较强量子退火已有商用案例
密码学破解无关强但门槛极高需百万级物理比特,尚需多年
采样与概率分布中等强可验证优势已在此类任务上实现

边界:它不会训练你的大模型​

必须泼一盆冷水:量子计算与 LLM 训练的优势域几乎不重叠。大模型的核心是大规模矩阵乘法,这正是 GPU 被设计出来的问题;量子计算机的优势在于指数级状态空间,即分子模拟、组合优化这类任务。谷歌的研究人员自己也承认,现阶段量子算法能处理的分子还在传统算力范围之内。至于"量子神经网络取代深度学习",据公开的学界共识,本十年内不会发生。破解主流密码学所需的物理比特数比现有最好机器多四个数量级,但"先窃取、后解密"的威胁已经真实存在——NIST 已在 2024 年标准化三套后量子密码算法,头部厂商开始在生产环境部署混合抗量子方案。

真正的落地图景是混合模式:GPU 集群负责数据预处理、神经网络与任务编排,把其中狭窄的模拟或优化内核卸载给 QPU。英伟达押注的正是这个位置——每一台做量子模拟与混合计算的机器,都离不开 GPU。

对 AI 基础设施团队的启示​

现阶段合理的动作不是"采购量子计算机",而是三件具体的事。第一,密码学盘点:梳理所有依赖 RSA、ECDSA 的系统与长期敏感数据,制定后量子迁移计划,这是当下唯一有时间压力的量子议题。第二,小成本建立认知:通过云平台按小时租用量子处理器,让两三名工程师跑通混合编程框架,判断自家业务里有没有值得试验的优化或模拟问题。第三,路线观察:超导阵营赌规模,离子阱阵营赌保真度,技术路线尚未收敛,任何重资产投入都为时过早。

写在最后​

量子计算与 AI 的关系,更准确的比喻是"邻居"而非"替代者":它们共享机房、共享混合调度栈、共享人才,但各管各的优势域。对基础设施工程师,2026 年的正确姿势是保持关注、小步验证、把后量子迁移提上日程;对投资人,警惕把"可验证优势"讲成"商业可用"的故事。远水解不了近渴,但浇灌的方向值得知道。

RTX PRO 6000 Blackwell:工作站级 AI 算力天花板的正确用法

· 4 min read
Industry Research Team

当数据中心 GPU 被出口管制和 SXM 生态层层包裹时,一张 96GB 显存、走标准 PCIe 的 Blackwell 专业卡,成了许多团队拿到最新架构的现实路径。RTX PRO 6000 不是缩小版 H100,它有自己的生态位。

规格:把数据中心架构装进双槽卡​

RTX PRO 6000 基于 GB202 大核心,搭载第五代 Tensor Core,完整支持 FP4/FP8 低精度推理,这是它区别于上一代 Ada 专业卡的本质跃升。96GB GDDR7 ECC 显存、512-bit 位宽、1.79TB/s 带宽,让它成为显存容量最大的单插槽 PCIe GPU 之一。

规格RTX PRO 6000 Blackwell(工作站版)参考:H100 SXM
显存96GB GDDR7 ECC80GB HBM3
显存带宽1.79TB/s3.35TB/s
FP32125 TFLOPS67 TFLOPS
AI 算力(FP4/INT8 稀疏)约 4,000 TOPSFP8 3,958 TFLOPS
CUDA 核心24,06416,896
功耗600W700W
接口PCIe Gen 5 x16SXM(PCIe 版无 NVLink)
光追第四代 RT Core,380 TFLOPS无

两个版本需要分清:工作站版面向桌面塔式机箱,双槽双风扇,600W,配 DisplayPort 2.1 可接 8K 显示器;服务器版(Server Edition)面向数据中心风冷或液冷机箱,去掉显示输出,专为高密度部署调校。另据公开报道,MSRP 约 9,999 美元,相比 H100 时期动辄二十几万的整机门槛,单卡可负担性显著改善。

能干什么:从本地 70B 到渲染农场​

显存是这张卡的灵魂。96GB 意味着单卡可跑 70B 级模型 Q4 量化并留足 KV Cache 余量,34B 级模型可 FP16 全精度运行;四卡组网(PCIe 点对点)可容纳 Q4 量化的千亿级模型。对 Agent 开发者、数据科学团队和小型 AI 工作室,这意味着把微调与推理搬回本地、摆脱云端计费的第一块拼图。

它的短板同样清晰。GDDR7 带宽 1.79TB/s,明显低于 HBM 系的 3.35TB/s 至 4.8TB/s,decode 速度(每秒 token 数)受此制约;没有 NVLink,多卡扩展只能走 PCIe,不适合大规模张量并行训练。一句话概括能力边界:单卡大模型推理与小规模微调是甜点,分布式训练不是它的战场。

场景适配度说明
本地 LLM 推理(70B Q4)高容量充足,带宽决定单流速度
LoRA/SFT 微调(34B 级)高96GB 可容纳完整训练态
大规模分布式训练低无 NVLink,PCIe 互联成瓶颈
3D 渲染与视频工程高125 TFLOPS FP32 加第四代 RT Core
MIG 多租户切分中最多 4 实例,每实例 24GB

与 H100/H200 怎么选​

如果预算覆盖 HGX H200 且需要多卡并行训练,服务器平台仍不可替代。但如果需求是"一两张卡、本地推理、兼顾图形",RTX PRO 6000 的单位显存价格优势明显:96GB 显存约为 H100 80GB 的 1.2 倍,而价格通常只有后者的几分之一。它还有 H100 没有的完整图形栈——同一个团队白天做渲染、晚上跑推理,一张卡通吃。出口管制语境下,其消费级产线的可获得性也是许多团队的现实考量。

小结​

RTX PRO 6000 Blackwell 的定位是"工作站里的数据中心 GPU":把 Blackwell 的 FP4 算力与 96GB 显存带给不拥有机柜的团队。它用带宽和互联换来了价格与部署便利性——只要你的负载是单卡可解的推理、微调与图形,它就是当前桌面 AI 算力的天花板。

服务器 CPU 变天:EPYC Venice 256核 2nm 量产 vs Intel 三度涨价仍失份额

· 5 min read
Industry Research Team

服务器 CPU 市场正在经历一次角色重定义:AMD 用 2nm 制程和 256 核密度继续扩大领先,Intel 被迫靠涨价在需求中求生,而 NVIDIA 自研 Vera CPU 则带着 AI 专用设计入场。AI 服务器里 CPU 不再是主角,但恰恰因此,它的选型逻辑被彻底改写。

AMD Venice:2nm 量产 + 256 核密度登顶​

AMD 第六代 EPYC "Venice"(Zen 6 架构,最高 256 核)已经在台积电 2nm 产线启动量产,这是行业首批进入 2nm 量产的处理器产品之一。更值得关注的是,量产正在从台积电延伸至 AMD 的亚利桑那工厂——先进制程的美国本土化,对政府采购和主权 AI 项目是重要的加分项。

项目EPYC Venice(6th Gen)说明
架构Zen 6新一代核心
最高核心数256 核服务器 CPU 密度新纪录
制程TSMC 2nm,延伸至亚利桑那工厂首批 2nm 量产处理器
角色定位Helios 机架 CPU,配套 72×MI455XAI 机架主机侧
下一代"Verano",已为 AI 工作负载预留设计设计即前馈

Venice 还有两层战略价值:其一,它是 Helios 机架(72 颗 MI455X)的配套 CPU,AMD 的 GPU 机架方案因此获得了"自家 CPU+自家 GPU"的垂直整合能力;其二,下一代 "Verano" 已经为 AI 工作负载预留设计,说明 AMD 在产品定义阶段就开始为 AI 节点做优化,而不是拿通用服务器芯片顺手兼容。

Intel:年内三度涨价,份额仍在流失​

Intel 的处境则截然不同。10 月 5 日起,Intel 对 CPU 提价 10%——这是年内第三次涨价,驱动因素是 AI 需求带动的产能紧张。但涨价并没有止住份额流失:多家分析师在报告中持续给出卖出的建议口径,认为 Intel 服务器 CPU 的市场份额下滑尚未见底。

维度AMDIntel
制程2nm 量产(Venice)制程追赶中
核心数路线256 核密度登顶密度竞赛落后
价格策略产品迭代驱动年内三度涨价(累计幅度未公开)
服务器份额持续提升持续流失(分析师建议卖出口径)
价格支撑机架级方案带动AI 服务器配套 x86 需求托底

值得注意的悖论是:Intel 涨价的底气部分恰恰来自 AI——AI 服务器爆发也拉动了配套 x86 CPU 的需求,产能紧张让 Intel 敢于连续提价。但"涨价求生"的另一面是,客户在 AI 服务器 CPU 选型上的议价空间被压缩,这反而给了 AMD 和 NVIDIA 更多切入机会。

Vera 入场:AI 节点上的 CPU 重新定义​

NVIDIA 自研的 Vera CPU 是第三个变量。Daytona 基准测试给出了一个惊人的对比:Vera 跑千沙盒仅需 10.8 秒,而 AMD 旗舰 EPYC 9755 需要 88.4 秒——约 8 倍的差距。

对比项NVIDIA VeraAMD EPYC 9755
Daytona 千沙盒10.8 秒88.4 秒(约 8 倍耗时)
设计目标专为 AI 节点设计通用服务器负载
配套内存Vera SCF + 1.5TB LPDDR5X传统 DIMM 路线

Vera 的设计思路与通用服务器 CPU 完全不同:SCF 互联加 1.5TB LPDDR5X 的组合,是专为 AI 节点上"数据搬运 + 调度"的角色优化的。在 Grace/Vera 与 GPU 紧耦合的架构里,CPU 的传统性能指标(如 SPEC 系列)重要性下降,而内存带宽、与加速器的耦合效率成为新的评价维度。

分析:AI 服务器中 CPU 角色的重定义​

AI 服务器里,CPU 不再是算力的主角,而是被压缩到三个角色:主机侧调度(内核、虚拟化、作业分发)、数据搬运(存储/网络与 GPU 之间的通路)、以及配套生态(x86 软件兼容性)。这带来了三强格局下的不同打法:

  • AMD 走密度路线:用 256 核 + 2nm 的硬件优势,同时服务传统虚拟化和 AI 机架主机侧,Venice 与 Helios 的绑定让"买 AMD GPU 就配 AMD CPU"成为默认选项;
  • Intel 涨价求生:利用产能紧张和 x86 生态惯性提价保收入,份额换取现金流,等待下一代产品翻盘;
  • NVIDIA 自研入场:Vera 不参与通用服务器竞争,只在 AI 节点上用专用设计建立垂直优势,Daytona 8 倍的差距就是其叙事武器。

对采购方的影响:三强博弈叠加产能紧张,意味着锁量窗口正在关闭。Intel 年内三度涨价已经发出信号——服务器 CPU 的价格曲线在 2026 年是向上的。有大批量采购计划的企业,应尽快与供应商锁定价格和交期;同时,AI 集群主机侧 CPU 的选型需要重新评估,传统"EPYC 对标 Xeon"的通用跑分逻辑,在 Vera 这类 AI 专用 CPU 出现后已不再充分。

小结​

服务器 CPU 市场的竞争维度正在迁移:从通用性能转向"AI 节点适配度"。AMD Venice 以 2nm + 256 核的量产优势延续密度路线,并借 Helios 机架实现 CPU/GPU 协同;Intel 连续三次涨价反映的是产能紧张下的议价权,而非竞争力回升;NVIDIA Vera 用 Daytona 基准 8 倍的成绩宣告 AI 专用 CPU 的独立赛道成立。对采购方而言,2026 年的关键词是"锁量"和"重估"——锁定涨价前的采购窗口,重估 AI 集群中主机侧芯片的技术选型标准。

从 Tensor Core 到矩阵引擎:AI 算力单元十五年演进

· 3 min read
Industry Research Team

今天每一款 AI 芯片的规格表上,数字最大的那一行几乎都来自专门的矩阵计算单元,而不是通用核心。这些单元叫法各异——Tensor Core、MXU、Cube Core、MME——但都指向同一个设计判断:神经网络计算值得用专用电路来做。

起点:通用核心喂不饱神经网络​

深度学习计算的主体是矩阵乘法,模式极其规整:同样的乘加操作重复亿万次。早期的方案是在通用 GPU 核心上跑这些运算,效率不错但浪费——取指、调度、分支预测这些通用能力对矩阵乘毫无贡献。转折出现在 2016 到 2017 年:Google TPU v1 用脉动阵列(MXU)做 INT8 推理,数据在阵列中流动、逐拍被计算单元"接力"处理,省去了反复访存;NVIDIA 则在 Volta 架构中引入第一代 Tensor Core,把小型矩阵乘加指令下沉到硬件,每时钟周期可完成一组 4 乘 4 矩阵片段运算。矩阵计算从此有了专属电路。

Ampere 到 Hopper:精度阶梯与异步化​

NVIDIA 的演进路线最具代表性:

架构(年份)Tensor Core 代际关键能力
Volta(2017)第一代FP16 矩阵运算独立于 CUDA 核
Ampere(2020)第三代TF32 档位、2:4 结构化稀疏翻倍
Hopper(2022)第四代FP8、Transformer Engine 自动切精度、异步大块矩阵指令
Blackwell(2024)第五代FP4 微缩格式、attention 专项优化

这条脉络有两条主线:一是精度不断下探,FP16 到 FP8 再到 FP4,每一档都把单次运算的能耗和面积砍掉一大截,配套的格式管理机制(如自动缩放)保证精度可接受;二是执行方式从同步走向异步,矩阵指令直接在显存与计算单元之间搬运大块数据,减少寄存器中转,让算力单元的填充率更高。

不是一家的事:矩阵引擎的多种流派​

矩阵单元并非 NVIDIA 独有。Google TPU 的 MXU 是脉动阵列的代表,几代 TPU 始终坚持这一架构,用规整的数据流换取高能效。华为达芬奇架构的 Cube Core 走"三维立方运算"路线,一条指令完成一整块矩阵乘,Ascend 系列延续至今。寒武纪 MLU 核心同样以矩阵和向量单元为主体。Intel Gaudi 系列则把大矩阵引擎(MME)与可编程 VLIW 核搭配,一个负责稠密 GEMM,一个负责其余算子。各家实现细节差异很大,但方向一致:让矩阵乘法拥有专属的、尽可能宽的数据通路。

小结​

十五年演进可以压缩成一句话:算力单元从"通用核心顺便做矩阵"走向"整颗芯片围着矩阵引擎转"。精度下探仍有空间,但物理极限渐近,下一阶段的竞争点正在从单单元峰值转向数据搬运效率——显存带宽、片上 SRAM、互连拓扑。选型时看算力单元,不要只看峰值 FLOPS,要看它背后的数据供给能力:算得快的前提是喂得快。

训练与推理的算力占比之变:推理时代何时真正到来

· 4 min read
Industry Research Team

"推理占比什么时候超过训练"曾是个经典预测题,如今它已经有了答案:2026 年,推理算力占比正式过半。真正的悬念变成了——推理时代的算力基建,准备好了吗。

占比反转:数据给出的答案​

多家机构对训练与推理的算力结构给出了趋于一致的判断:

口径关键数据来源
全球 AI 负载占比2024 年训练约六成、推理约四成;2025 年五五开;2026 年训练四成、推理六成Epoch AI、AMD 公开材料
推理负载占比从 2023 年约三分之一升至 2025 年约一半,2026 年预计达到三分之二德勤估算
中国智能算力2027 年推理占比预计突破七成;2028 年全球推理负载占比约七成三IDC 预测
AI 云服务支出2026 年全球 AI 优化型 IaaS 支出约 375 亿美元,推理占比 55%,首次超过训练Gartner 预测

鼎帷咨询等机构进一步预计,训练与推理负载比将从早期的 7 比 3 演进到 2027 至 2030 年的 3 比 7 甚至 2 比 8。无论采用哪个口径,方向完全一致:算力的重心正在从"炼模型"迁移到"用模型"。

三股力量:服役、深思、智能体​

推理占比跃升由三重动力叠加驱动。第一,模型进入服役期:训练是一次性资本开支,推理是每天持续产生的运营账单——据业界估算,头部对话类产品的推理开销以每天数十万美元计,进入规模化生产后,推理可占模型全生命周期算力成本的八到九成。第二,推理时 Scaling:思维链模型用"内部深思"换取智能,用户看不见的推演 token 同样按价计费,单次请求的算力需求成倍膨胀——模型越会深思熟虑,推理阶段的需求通胀就越厉害。第三,智能体乘数:一次 Agent 任务消耗的 token 从数百跃升到数万,多轮链式思考叠加工具调用,使推理流量呈现碎片化与高波动特征。

中国市场的信号同样鲜明:据公开数据,全国日均 token 消耗从 2024 年初的千亿级跃升至 2026 年 3 月的约 140 万亿,一年半增长约三百倍——需求的斜率比任何预测模型都陡峭。

硬件逻辑的重新洗牌​

占比反转直接改写芯片设计与采购逻辑。训练硬件追求极致性能与集群可靠性,一次训练动辄连续运行数周,故障率必须压到极低;推理硬件的 KPI 则是每瓦 token 数与每百万 token 成本:FP4 与 INT8 级别的低精度成为默认态,显存容量与带宽决定长上下文的经济性,时延与吞吐的权衡成为核心竞争力。这解释了 2026 年推理专用芯片赛道的集体爆发——从英伟达面向推理优化的产品线,到云厂商自研 ASIC 与推理芯片创业公司的融资潮,都在响应同一个结构性信号。

结语:推理时代的真正考题​

推理时代不是某个季度财报里的占比数字,而是一整套产业逻辑的更替:计费从"卡时"转向"token 成本",采购从"峰值算力"转向"单位经济学",评测从训练基准转向真实业务负载的端到端表现。可以判断:2026 年是推理占比过半的符号性年份,而 2027 到 2028 年,推理将稳固占据七成以上份额。届时,所有今天围绕训练设计的集群、网络与商业模式,都要回答同一个问题——为推理做好准备了吗。

Vera CPU 深度:SCF + 1.5TB LPDDR5X,NVIDIA 自研 CPU 的野心

· 7 min read
Industry Research Team

当所有人盯着 Rubin R200 的 50 PFLOPS FP4 时,真正决定这台机器推理经济性的,可能是一颗 CPU。Vera——NVIDIA 首次全面自研核心的数据中心 CPU,用 88 个 Olympus 核心、第二代 SCF 一致性结构和 1.5TB LPDDR5X,重新定义了"AI 工厂的主机处理器"。本文依据站内芯片数据库与智能体基准实测,拆解 NVIDIA 从外购 Arm 核到自研 SCF 的演进逻辑。

从 Grace 到 Vera:自研之路的三级跳​

NVIDIA 的 CPU 战略经历了三个阶段:GH200/GB200 时代的 Grace CPU 基于 72 核 Neoverse V2 公版 Arm 核心,本质是"外购核心 + 自研互联";GB300 延续了这一代 Grace;而 2026 年 GTC 发布的 Vera 则完成质变——核心、片上互连、内存子系统全部自研。据站内芯片数据库,Vera 的核心规格如下:

规格参数
CPU 架构ARM 架构(自研 Olympus 核心)
指令集ARMv9.2(完全兼容)
核心数量88 个 Olympus 核心
线程数量176 个线程(空间多线程)
单核性能前代产品的 2 倍
最大内存容量1.5 TB(LPDDR5X)
内存带宽1.2 TB/s
互联技术NVLink-C2C(1.8 TB/s)
片上互连第二代 SCF(3.4 TB/s 对分带宽)
发布时间2026 年 3 月 17 日
量产时间2026 年下半年

SCF:88 核无延迟扩展的底座​

SCF(Scalable Coherency Fabric,可扩展一致性结构)是 Vera 最值得细看的技术。第二代 SCF 提供 3.4 TB/s 对分带宽,采用片上网格 + 统一缓存设计,可无延迟扩展 88 个核心。

对分带宽(bisection bandwidth)是衡量片上互连质量的关键指标:它表示把芯片切成两半时,两半之间的总通信带宽。88 核的大芯片如果对分带宽不足,核心越多内耗越大。第二代 SCF 用网格拓扑让任意核心间的通信路径趋于均匀,配合统一缓存避免一致性流量的长距离穿梭——这正是 Vera 敢于采用单体计算芯片设计(而非多小芯片拼接)的底气:避免跨小芯片通信延迟,在所有核心满载时保持稳定延迟和吞吐量,性能可预测性强。

1.5TB LPDDR5X:把内存子系统当主武器​

Vera 将 SCF 与高达 1.5TB 的 LPDDR5X 内存子系统结合。对比上一代 Grace 的规格变化一目了然:

指标Grace(GB200/GB300)Vera提升
内存容量480GB LPDDR5X最高 1.5TB LPDDR5X约 3 倍
内存带宽512 GB/s1.2 TB/s约 2.3 倍
CPU-GPU 互联NV-HBI 900 GB/sNVLink-C2C 1.8 TB/s2 倍
核心数72 核 Neoverse V288 核 Olympus+22%

更关键的是系统级设计:LPDDR5X 与 GPU 的 HBM4 可视为单一一致性内存池。这意味着数据不再需要在"CPU 内存"和"显存"之间显式搬运,两个物理上分离的内存子系统在软件视角下是一体的。对推理业务,这带来两个直接收益:KV 缓存卸载——不常用的注意力上下文可以下沉到 LPDDR5X 侧,把昂贵的 HBM4 带宽留给热点数据;多模型高效执行——多个模型实例共享同一内存池,切换与加载开销大幅降低。

Daytona 实测:智能体时代的 CPU 门槛​

2026 年 10 月 10 日公布的 Daytona 智能体基准测试,给 Vera 的实际能力提供了量化注脚。智能体负载的特点是海量并发沙盒的创建与销毁——恰恰考验 CPU 的内存容量、一致性与调度效率:

测试项VeraAMD EPYC 9755差距
1000 沙盒上线10.8 秒88.4 秒约 8 倍
峰值智能体任务吞吐13.3 任务/秒——
2000 沙盒上线27.4 秒——

8 倍的沙盒上线速度差距说明:智能体负载对 CPU 的要求已与通用计算分道扬镳——容量大(1.5TB 装下海量沙盒状态)、带宽高(1.2TB/s 喂饱并发)、一致性结构强(88 核高效协作)。站内芯片数据库同时记录,Vera 的软件环境运行速度相比传统架构 CPU 提升最高 50%,满负载下强化学习评估周期可缩短 50%。

与 Groq 3 LPX 的异构分工​

Vera 所在的 Rubin 平台还有一位非常规队友:NVIDIA 收购 Groq 后推出的 Groq 3 LPX。据站内芯片数据库,LPX 机架集成 256 颗 LPU,聚合 128GB 片上 SRAM,聚合带宽高达 40 PB/s,官方口径的能效优势显著(35× perf/W vs H100 推理)。在 Rubin 平台的分工中,GPU 承担训练与 prefill,Groq 3 LPX 专攻智能体解码阶段的低延迟输出——而 Vera 则是这一切的调度中枢。prefill 吃算力、decode 吃带宽、调度吃一致性与容量,三种负载由三种架构分别消化,这正是"每 token 经济学"推导出的异构架构必然性。

Vera vs EPYC Venice:服务器 CPU 的新战场​

Vera 的出现让 NVIDIA 与 AMD 在服务器 CPU 领域正面相遇。据站内芯片数据库,AMD EPYC Venice(2026 CES 发布)是全球首款 2nm 数据中心 CPU:

指标NVIDIA VeraAMD EPYC Venice(Zen 6C)
核心88 个自研 Olympus最多 256 个 Zen 6C
制程未公开台积电 2nm(N2)
内存1.5TB LPDDR5X16 通道 DDR5
单路带宽1.2 TB/s1.6 TB/s
L3 缓存—1GB
卖点NVLink-C2C、CPU-GPU 一致性通用性、x86 生态

两者的定位差异明显:EPYC Venice 是通用数据中心 CPU 的极致(256 核、x86 生态、Helios 机架中与 MI455X 组队),而 Vera 是 AI 专用 CPU——它不做通用服务器生意,只为 AI 工厂的主机负载优化。Vera 甚至支持硬件级 FP8 计算,是全球首款支持 FP8 精度的 CPU,并支持全机密计算的硬件级安全隔离。竞争的天平取决于一个问题:AI 工厂的 CPU 采购,会不会整体从通用服务器预算中剥离?如果会,Vera 绑定 Rubin GPU 的销售模式将是护城河;如果不会,EPYC 的生态广度仍难撼动。

小结​

Vera CPU 标志着 NVIDIA 完成了从"用别人的核心攒超级芯片"到"自研全套主机平台"的跃迁:SCF 的 3.4TB/s 对分带宽解决了 88 核扩展难题,1.5TB LPDDR5X 与 HBM4 构成的一致性内存池重构了推理数据流,Daytona 实测的 8 倍沙盒优势则证明智能体负载确实需要一颗不一样的 CPU。它的野心不在挑战 x86 的通用服务器王座,而是重新划定一条边界——AI 基础设施中,CPU 是 GPU 子系统的一部分,而不是独立采购的商品。这条边界能否成立,将决定未来五年服务器市场的版图。

视频生成与世界模型:下一个算力黑洞

· 4 min read
Industry Research Team

文本生成的算力曲线尚未见顶,视频生成已经带着二次方的注意力复杂度闯入算力市场。当世界模型开始学习物理规律并支持实时交互,推理算力的需求边界将被重新定义——下一个算力黑洞,正在视野中成形。

单秒成本背后的算力真相​

2026 年,视频生成已形成清晰的商业化定价梯度。据公开资料整理:

模型定价(每秒生成视频)主要特性
Sora 2约 0.10 至 0.15 美元1080p、原生音频
Sora 2 Pro0.30 至 0.50 美元更长时长、更高分辨率
Veo 3.1约 0.40 美元原生音频、4K 上采样
可灵 3.00.10 至 0.75 美元国产梯队代表,长时长可扩展
开源自托管(Wan 2.6 等)硬件摊销后显著更低需自行承担 GPU 与运维成本

低价表象之下是沉重的算力账单。按每秒 24 帧计算,一段 10 秒 1080p 视频意味着 240 帧高度关联的图像,时序注意力机制使显存需求随时长呈二次方增长——30 秒片段要处理的帧间关联对数以十万计。业界分析普遍估计,训练一个 Sora 2、Veo 3 级别的视频模型,仅算力投入就普遍在 5000 万美元以上,叠加数据授权、标注与安全评审,整体项目投入据估可达 1.5 亿至 4 亿美元。算一笔直观的账:一个每月生成百万秒级视频的消费级应用,即便采用较低价位档,月度 API 账单也能轻松超过 10 万美元。

自托管与开源的博弈​

开源模型正在改变成本结构。阿里的 Wan 系列与腾讯的 HunyuanVideo 已把"自己搭"变为可行选项:Wan 系列的 14B 生产级版本约需 48GB 到 80GB 显存才能流畅批量推理,HunyuanVideo 13B 版本官方推荐 H100 80GB 级别配置。对月产数十万条短视频的应用而言,API 计费与自建集群的成本平衡点,正成为技术路线的核心决策。而中国厂商在国产加速器与低电价环境下的成本优势,使国产视频模型在单位经济学上占据独特位置——可灵、海螺等产品的低价正是这一优势的直接体现。

世界模型:从生成到模拟​

比视频生成更重的,是世界模型。当模型不仅生成画面,还要内化物理规律、支持交互式探索时,算力需求呈台阶式跃迁:实时交互要求生成延迟低到毫秒级;世界一致性要求超长时序记忆与状态追踪;具身智能训练要求大规模仿真并行运行。视频生成考验的是"把序列算对",世界模型考验的是"把世界算懂"——后者的状态空间与计算密度高出一个量级。业界普遍预期,一旦世界模型成为智能体与机器人训练的基础设施,其推理负载将远超今天的文本推理。

结语:为黑洞做好电力与芯片准备​

视频生成与世界模型对算力产业的意义,在于它们同时吃掉带宽、显存、互连这三样最贵的资源——这恰好解释了 HBM 扩产、超节点与液冷在 2026 年同步爆发的产业节奏。对芯片厂商而言,谁能把每瓦 tokens 产出做到极致、把视频推理流水线优化到物理极限,谁就能在下一个算力黑洞周围占据最有利的位置。而对整个行业,唯一确定的是:生成一秒钟的智能,永远比生成一个字贵得多,而且这个差距还会继续拉大。

RTX Spark 笔记本开订、DGX Station 登陆 Windows:NVIDIA 把 AI 超算搬上办公桌

· 5 min read
Industry Research Team

在旧金山举行的微软 Windows AI 与 Surface 活动上,NVIDIA 一手开启 RTX Spark 笔记本预订,一手预览 DGX Station for Windows——从 1 PFLOP FP4 的笔记本到 20 PFLOPS FP4 的桌面工作站,AI 算力正在从数据中心一路铺到办公桌。

RTX Spark 笔记本正式开订​

在微软于旧金山举行的 Windows AI 与 Surface 活动上,NVIDIA 宣布 RTX Spark 笔记本正式开启预订,首批产品将于 10 月 16 日(周五)发货;紧凑型桌面产品则计划在 11 月跟进上市。

OEM 阵容覆盖了几乎所有主流 PC 品牌:Acer、ASUS、Dell、HP、Lenovo、Microsoft(Surface Laptop Ultra)、MSI、Gigabyte 全部在列。从发布即有如此完整的品牌背书来看,RTX Spark 显然不是一款演示性产品,而是要成长为一个完整的终端新品类。

Blackwell RTX + Grace CPU:数据中心架构下沉终端​

RTX Spark 的硬件方案可以概括为"把 Grace Blackwell 的思路压缩进 PC":

  • GPU:基于 Blackwell 架构的 RTX GPU,最高 6144 个 CUDA 核心;
  • CPU:最多 20 核的 Grace CPU;
  • 互联:CPU 与 GPU 之间提供 600 GB/s 高速链路;
  • 算力:最高 1 PFLOP FP4;
  • 内存:最高 128GB 统一内存,CPU 与 GPU 共享同一内存池;
  • 软件:运行完整 CUDA 栈。

其中"统一内存 + 完整 CUDA 栈"是两个关键点:前者决定了本地能装下多大的模型,后者决定了云端训练的代码可以低成本迁移到本地调试,开发者不必为桌面场景另学一套工具链。

DGX Station for Windows 首次预览​

如果说 RTX Spark 面向个人开发者,那么同场预览的 DGX Station for Windows 则瞄准了更高一层的需求。它基于 GB300 Grace Blackwell Ultra Desktop Superchip,拥有 748GB 一致性内存,算力最高可达 20 PFLOPS FP4,目标是让用户在本地运行约 1 万亿参数的模型。

对 Linux 生态的兼容也给出了务实答案:Linux 工具链可以通过 WSL(Windows Subsystem for Linux)访问。DGX Station for Windows 将于 Q4 上市,由 ASUS、Dell、HP、Lenovo 四家推出。

Surface Laptop Ultra 与内存挤压隐忧​

作为活动的另一主角,Surface Laptop Ultra 已于 10 月 7 日开启预订,最高配备 128GB 统一内存——这个容量已经接近入门级推理服务器的水平。

但 DIGITIMES 提出了一个不容忽视的问题:AI PC 的内存供给正在被服务器需求挤压。在内存厂商的优先级排序中,服务器 DRAM 需求被放在首位,AI PC 依赖的 LPDDR5X 供给承压。在存储供应紧张的背景下,128GB 统一内存的 AI PC 能否稳定供货,本身就是一个变数。

从云端到桌面的算力分层​

把 NVIDIA 目前的桌面产品线摆在一起,可以清晰看到一条算力分层路线:

产品形态关键规格定位
DGX Spark桌面 AI 超算64GB 统一内存、1 PFLOP FP44,999 美元,个人与小团队原型验证
RTX Spark 笔记本笔记本最高 6144 CUDA 核心 + 最多 20 核 Grace CPU、最高 128GB 统一内存随身开发与调试
DGX Station for Windows桌面工作站GB300 Grace Blackwell Ultra Desktop Superchip、748GB 一致性内存、最高 20 PFLOPS FP4本地运行约 1 万亿参数模型

这条路线的逻辑是:云端负责大规模训练与生产推理,桌面负责原型验证、微调与敏感数据场景,笔记本负责日常开发与演示。当模型越做越大、数据合规要求越来越严,"把算力放在身边"的价值正在上升。

Windows CUDA 原生化与 WSL 的务实路线​

过去十几年,CUDA 的主战场在 Linux 服务器上,Windows 开发者在工具链上长期处于跟随位置。RTX Spark 与 DGX Station for Windows 意味着完整 CUDA 栈第一次以原生姿态大规模进入 Windows 桌面场景。

而 WSL 桥接 Linux 工具链的安排,则是一种典型的务实路线:既照顾 Windows 用户的使用习惯,又不要求现有 Linux 工作流推倒重来。对于在 Windows 环境中做模型开发和内部工具的企业开发者来说,迁移成本被明显降低;对 NVIDIA 而言,这等于把整个 CUDA 开发者生态延伸到了全球存量最大的桌面操作系统上。

小结​

RTX Spark 笔记本开订与 DGX Station for Windows 预览,标志着 NVIDIA 把 AI 算力的故事延伸到了最后一米:从数据中心,到桌面工作站,再到背包里的笔记本。1 PFLOP FP4 到 20 PFLOPS FP4 的分层算力、128GB 到 748GB 的统一内存、WSL 桥接的 Linux 工具链,共同构成了一条完整的桌面 AI 开发路径。剩下的悬念有两个:一是 LPDDR5X 供给紧张会不会卡住 AI PC 的出货节奏,二是 11 月的紧凑型桌面和 Q4 上市的 DGX Station 能否如期落地。