跳到主要内容

2 篇博文 含有标签「TPU 8t」

Google TPU 8t training chip

查看所有标签

Hot Chips 2026 全景总结:Rubin、MI455X、Crescent Island 同台,AI 算力交付进入"系统级"时代

· 阅读需 8 分钟
Industry Research Team

2026年8月23日至25日,第38届 Hot Chips(HC38)在斯坦福纪念礼堂举行。作为全球高性能芯片架构的风向标,本届大会恰好撞上 AI 算力军备竞赛最焦灼的时刻——官方议程共 48 个条目,其中 AI 加速器 7 个、存储教程 6 个、CPU 6 个、GPU 与网络各 4 个。如果把各家演讲摆在一起,一个共识浮出水面:AI 算力的竞争单位,已经从"单颗芯片"变成了"整机柜 / 整个系统"


1. 概览:三天议程,几乎就是 2027 年 AI 机柜市场的预演

周一(8/24)下午的 GPU 专场是全场焦点,四家演讲几乎是 2027 年 AI 机架市场的对撞:

  • NVIDIA Rubin GPU("Driving the Era of Agentic AI"):首个 chiplet 架构 GPU,288GB HBM4、FP4 约 50 PFLOPS,搭配 88 核 Arm 架构 Vera CPU 组成 NVL72 / NVL144 机柜,2026 下半年量产。
  • AMD Instinct MI400 连讲两场(架构 + 系统架构):把"机架级"故事讲透。
  • Intel Crescent Island:专为 Agentic AI 推理设计的 350W 风冷卡。

周二(8/25)下午的 AI 专场,则几乎是"超算厂商去 NVIDIA 化"的阅兵式:Google 第八代 TPU、OpenAI 首颗自研芯片、微软 Maia 200、Meta MTIA、Cerebras 晶圆级机架同台。

每一个登台厂商,都在开场两页 PPT 内用到了 "Agentic AI"(智能体 AI)这个词——这不是巧合,而是 2026 年 AI 负载设计目标的集体转向。


2. NVIDIA Rubin:一个机柜,就是一台超级计算机

英伟达在 Hot Chips 上主讲的不是单颗 GPU,而是 Vera Rubin NVL72 整机柜——72 颗 Rubin GPU + 36 颗 Vera CPU,18 个计算托盘 + 9 个 NVLink 交换托盘,约 130 万颗组件、近 1300 颗芯片,整柜重约 4000 磅(约 1.8 吨)。

单颗 Rubin GPU 的规格同样惊人:

指标Rubin GPU对比 Blackwell
晶体管3360 亿(TSMC 3nm 双 die)2080 亿(+61.5%)
显存288GB HBM4
带宽22 TB/sBlackwell 的 2.8 倍
NVFP4 推理50 PFLOPSGB200 的 5 倍
训练算力35 PFLOPS3.5 倍

最颠覆性的设计在计算托盘:无电缆、无软管、无风扇,全部通过 PCB 背板互联。英伟达称组装时间从近 2 小时压缩到 5 分钟(快 20 倍),同时提升可维护性。

英伟达这次卖的不是 FLOPS,而是 tokens per megawatt(每兆瓦 token 数)。 其引用 SemiAnalysis 基于 DeepSeek-v4-PRO(140K+ 上下文、AgentX 负载)的基准称:Vera Rubin NVL72 在交互强度上升时,较 GB300 NVL72 提供 10× 至最高 30× 的 tokens/MW。单柜提供 3.6 EFLOPS 推理算力,整柜功耗 190–230kW;远期产能目标为 每天 1000 个 NVL72 机柜


3. AMD MI455X + Helios:显存反超与开放互联

AMD 的答案是与英伟达正面硬刚的 MI455X + Helios 机架。MI455X 采用 CDNA 5 架构,8 个 N2 制程加速器 die + N3P 制程互联 die,256 个工作组处理器、192MB 全局 L2。

指标MI455X对比 Rubin
显存432GB HBM4(12 层堆叠)比 Rubin 288GB 高 50%
带宽23.3 TB/s略胜一筹
MXFP4 算力40.26 PFLOPS
系统(Helios 72 卡)FP4 推理 2.9 ExaFLOPS
报价约 525 万美元/柜

系统层面,AMD 押注 UALoE(以太网上的超加速器互联) 开放标准:每颗 GPU 提供 3.6 TB/s 双向互联带宽,交换托盘内两颗 512 端口 200G UALoE 交换芯片合计 10.8 TB/s——对标 NVLink 的同时把互联协议开放给整个产业。

量产节奏:AMD 计划 2026 下半年交付工程样品与小批量系统,2027 年 Q2 大规模放量。此前市场曾传出 Helios 因散热问题延期,AMD 官方未予确认。


4. Intel Crescent Island:风冷大显存的"性价比异类"

英特尔给出一条完全不同的路:Crescent Island——一颗 350W、风冷、标准 PCIe 槽位的推理 GPU,专为 Agentic AI 设计,核心指标是 tokens per watt

指标Crescent Island说明
架构Xe3P,32 个 Xe 核心,32MB 统一 L2Hot Chips 披露
内存Intel 自牌卡 160GB / ODM 最高 480GB LPDDR5X比 Rubin 288GB HBM4 还多
形态350W 风冷 PCIe直插标准机架,免液冷改造
RASECC、动态页离线、硬封装修复、PCIe 高级错误上报回应"静默数据损坏"

英特尔的逻辑很清晰:推理场景对显存容量的需求远大于带宽,用低成本 LPDDR5X 堆容量、用风冷省掉液冷基础设施,就能把单位 token 成本打下来。配合 Diamond Rapids 至强(256 性能核、1.28GB 缓存、128 条 PCIe Gen6),英特尔试图用"CPU + 推理 GPU + 开放软件栈"从边缘到数据中心全场景围堵。


5. 自研 ASIC 大集结:Google、OpenAI、微软、Meta 同台

周二下午的 AI 专场,是本届最有历史意义的一场——"超算厂商去 NVIDIA 化"的阅兵:

芯片厂商 / 合作定位关键规格 / 进度
TPU 8t(Sunfish)Google × Broadcom训练单 pod 9600 卡、121 FP4 ExaFLOPS、2PB 共享 HBM
TPU 8i(Zebrafish)Google × MediaTek推理288GB HBM、384MB 片上 SRAM(3× 上代)、ICI 19.2 Tb/s
JalapeñoOpenAI × Broadcom推理9 个月端到端设计,目标 token 成本降 ~50%,2026 底商用
Maia 200微软(TSMC 3nm)推理1400 亿+ 晶体管、10+ PFLOPS FP4、216GB HBM3E,已在得梅因数据中心服务 GPT-5.2
MTIA 300–500Meta(RISC-V)× Broadcom训推双使命最高 25× 算力增益,2027 前每 6 个月一款

Google 首次将 TPU 拆分为训练(8t)与推理(8i)两款专用架构,是其十年来最大的架构转向。Norm Jouppi 亲自登台主讲 TPU v8。


6. 存储与网络两条暗线:HBM4 元年 + AI 工厂操作系统

除 GPU/ASIC 外,两场暗线同样关键:

  • 存储:三星 HBM Base Die(逻辑工艺做基础裸片)与 SK 海力士先进封装同台,HBM4 时代"基础裸片代工化"产业变局开启;HBF(高带宽闪存)、LPDDR5X-PIM、3D DRAM、CXL 计算存储集中展示"存算一体"从论文走向产品。
  • 网络:NVIDIA BlueField-4(DPU)与 Spectrum-X Multiplane 架构(Gilad Shainer 主讲)——网络正成为 gigascale AI 的决定性架构,规模从数十万卡向百万卡迈进;博通 Thor Ultra 以太网 NIC 持续进逼;Mojo Vision 展示芯片级光 I/O。

7. 三条路线,一个共识

同一场大会上,三家给出了三种截然不同的 AI 算力交付哲学:

  1. 英伟达:全栈封闭整合——GPU、CPU、DPU、交换芯片全部自研,用极致软硬件协同把系统性能推到极致,代价是客户被深度绑定。
  2. AMD:开放标准追赶——用更大 HBM4 容量 + UALoE 开放互联打"性价比 + 开放"牌,配合 Meta、OpenAI 的 12GW 级订单撕开推理缺口。
  3. 英特尔:风冷性价比——放弃液冷、放弃 HBM,用 LPDDR5X 大显存 + 标准 PCIe 切入,赌"大多数推理不需要 200kW 机柜"。

但三家的共同结论是:竞争的单位不再是芯片,而是协同设计的系统(rack / system)。对采购方而言,2027 年的算力规划,要比对的不是"单卡 PFLOPS",而是"每兆瓦 token 数、时延、可用性与全周期成本"。

相关链接

参考资料


本文基于 Hot Chips 2026(8月23-25日)官方演讲与 ServeTheHome、SemiAnalysis、TechPowerUp 等现场报道整理。性能数据均为厂商公布口径,实际表现以量产产品为准。

谷歌TPU 8i/8t 正式发布:训练与推理首次分家,2nm工艺赋能智能体时代

· 阅读需 7 分钟
Industry Research Team

2026年4月22日,在拉斯维加斯举行的Google Cloud Next '26大会上,谷歌正式发布了第八代张量处理器(TPU)。这是谷歌史上首次将AI训练与推理任务拆分至两款独立芯片:

  • TPU 8t:专为模型训练设计
  • TPU 8i:专注高并发推理任务

此次发布未引入新的物理概念,而是聚焦于解决AI数据中心的核心痛点:万卡集群扩展效率智能体AI工作负载优化每瓦性能提升

TPU 8i(推理专用):消除"等待室效应"

TPU 8i是谷歌和**联发科(MediaTek)**首次合作设计的推理专用芯片,旨在消除"等待室效应"——即用户请求被有意排队或延迟以实现硬件利用率最大化的情况。

TPU 8i 核心规格(推测)

参数TPU 8iTPU v7 Ironwood
定位推理专用推理为主
制程TSMC 2nm
Die设计双计算Die(推测)
显存8× HBM3e 12层(推测 ~192GB)8× HBM3(192GB)
显存带宽~7 TB/s(推测)7,380 GB/s
FP8 算力~4,614 TFLOPS(推测)4,614 TFLOPS
TDP(每芯片)1,300 W1,000 W
互联ICI 3D TorusICI 3D Torus
集成CPUArm Axion(64核)
散热风冷/液冷均可第4代液冷
公布时间2026-04-222025-08-25
量产时间2027年底2026年

关键特性

  • 高并发推理优化:专为Agentic AI设计,支持数千个步骤的推理链条
  • Arm Axion CPU集成:64核Neoverse V2,Host CPU + 数据预处理协同
  • 低延迟:消除"等待室效应",首Token延迟(TTFT)极低
  • 每瓦性能提升117%:相比Ironwood(同等价格)

TPU 8t(训练专用):Gemini 3/4的"发动机"

TPU 8t专为Google Gemini 3 / Gemini 4等frontier模型训练设计,是谷歌与**博通(Broadcom)**长期合作的延续。

TPU 8t 核心规格

参数TPU 8tTPU v7 Ironwood提升
定位训练专用推理为主形态拆分
制程TSMC 2nm新一代
Die设计双计算Die架构升级
显存HBM3e 12层(单芯片推测 ~256GB)8× HBM3(192GB)升级
显存带宽~7 TB/s(推测每芯片)7,380 GB/s持平
Pod芯片数9,600芯片9,216+4%
Pod HBM总量2 PB远超
Pod FP4算力121 EFLOPS~42 EFLOPS(推测)~3×
集成CPUArm Axion(64核)新增
TDP(每芯片)1,300 W1,000 W+30%
量产时间2027年底2026年

关键特性

  • MoE训练原生支持:Expert Parallel优化(DeepSeek / Mixtral风格)
  • Long-context训练:1M+ token上下文训练优化
  • RLHF/后训练:Online RL(DPO/PPO/GRPO)原生优化
  • Arm Axion CPU协同:数据预处理/权重初始化Offload到CPU
  • SparseCore加速:MoE路由和推荐系统

第八代TPU的战略意义

1. 训练与推理首次分家

此前,谷歌的TPU设计理念是"一个架构兼顾训练和推理"(如TPU v5p、v6e)。但智能体AI时代的到来改变了这一点:

  • 训练工作负载:大规模矩阵乘法、长时序反向传播、稀疏化MoE
  • 推理工作负载:高并发、低延迟、KV Cache密集型、动态批处理

这两种工作负载对芯片架构的要求截然不同。拆分后:

  • TPU 8t可以专注优化计算密度显存容量
  • TPU 8i可以专注优化推理吞吐每瓦性能

2. 与博通、联发科的双线合作

  • 博通(Broadcom):继续合作设计TPU 8t(训练),延续自TPU v1以来的长期伙伴关系
  • 联发科(MediaTek):首次合作设计TPU 8i(推理),引入移动芯片低功耗设计经验

这种"双线合作"策略使谷歌能够:

  • 在训练芯片上追求极致性能(与博通的高端ASIC经验结合)
  • 在推理芯片上追求极致能效(与联发科的移动芯片经验结合)

3. 对标NVIDIA Vera Rubin

对比Google TPU 8t + 8iNVIDIA Vera Rubin
策略训练/推理拆分统一架构(GPU+CPU)
制程TSMC 2nmTSMC 3nm(推测)
生态仅Google Cloud全球可用
软件JAX / PyTorch/XLACUDA / PyTorch
量产2027年底2026年秋季
优势与Gemini深度集成生态最成熟

技术深度解析

TSMC 2nm:为何选择2nm?

谷歌是首家在AI加速器上采用TSMC 2nm制程的厂商(NVIDIA Rubin用的是3nm)。2nm(N2)工艺相比3nm(N3E):

  • 晶体管密度提升:~15-20%
  • 功耗降低:~25-30%(同等性能)
  • 性能提升:~10-15%(同等功耗)

对于功耗已达1,300W的TPU 8t/8i来说,2nm是必须的——否则4nm/3nm无法在合理功耗内集成双计算Die和8×HBM3e。

Arm Axion CPU:Google自研CPU首次进入TPU节点

此前,TPU节点使用Intel Xeon或AMD EPYC作为Host CPU。TPU 8t/8i首次集成Google自研的Arm Axion CPU(64核Neoverse V2):

意义

  1. 数据预处理Offload:Tokenization、数据增强等可以完全在Axion上完成,不占用TPU算力
  2. 权重初始化:大模型训练的权重初始化可以在CPU上完成,加速训练启动
  3. 推理调度:多模型推理时,Axion负责请求调度和负载均衡

这标志着TPU节点向"超节点"演进:不再是纯加速器,而是TPU + Axion CPU协同系统,对标NVIDIA Vera CPU。

第4代液冷:1,300W的散热挑战

TPU 8t/8i的TDP达到1,300W(相比Ironwood的1,000W提升30%),这给数据中心散热带来巨大挑战。

谷歌采用第4代液冷方案

  • 冷板液冷:直接冷却GPU Die和HBM
  • 浸没式液冷:可选方案(超高密度部署)
  • 智能温控:根据工作负载动态调整泵速和风扇转速

量产时间表与应用场景

时间事件
2026-04-22Cloud Next '26正式公布
2026年下半年内部测试(Google DeepMind优先使用)
2027年底**正式量产,Google Cloud开放
2028年下一代TPU(可能为TPU 9)

目标应用场景

  • Frontier模型训练(Gemini 3/4、外部客户)
  • MoE大模型推理(高并发、低延迟)
  • 多模态AI(ViT + LLM同步推理)
  • 智能体AI(Agentic AI工作负载)

与竞品对比

厂商产品制程TDP量产时间
GoogleTPU 8i(推理)TSMC 2nm1,300W2027年底
GoogleTPU 8t(训练)TSMC 2nm1,300W2027年底
NVIDIARubin GPUTSMC 3nm(推测)~1,000W2026年秋季
NVIDIAVera CPUTSMC 3nm(推测)~500W2026年秋季
AMDMI455X(MI400)TSMC 3nm(推测)~700W2026年
华为昇腾950PR~500W2026年Q1

行业影响

  1. AI芯片进入2nm时代:谷歌率先采用TSMC 2nm,NVIDIA、AMD必然跟进
  2. 训练/推理拆分成为新趋势:其他厂商(如NVIDIA、AMD)可能会效仿
  3. 自研CPU成为标配:Google(Axion)、NVIDIA(Vera)、华为(鲲鹏)都在做CPU+加速器的协同设计
  4. 液冷成为必然选择:1,300W的TDP意味着风冷已经无法满足

相关芯片

参考资料


本文基于Google官方公告及公开资料整理,部分规格为推测值,以官方最终发布为准。