7 posts tagged with "AI Accelerator"

10 月的 AMD 新闻列表里，两条不起眼但信号很强的条目：收购 Taalas（面向快速增长 AI 推理市场的计算方案），以及与 Cerebras 联合发布业界领先的超低延迟、高吞吐 AI 推理方案。MI450 是 AMD 的正面战场，这两步棋则是侧翼。

一、Taalas：把整张网络「浇」进芯片​

Taalas 的技术路线是固定权重硅（fixed-weight silicon）：把训练好的神经网络直接物理固化到芯片里——每个模型一颗专用芯片，省掉指令调度与权重搬运的开销。代价是灵活性（模型一变就要重新流片），收益是极致的能效与延迟。

对 AMD 的意义：在「通用 GPU（MI 系列）+ 专用推理固化芯片」之间补上中间层——类似英伟达用 NVFP4 软件栈锁推理、谷歌用 TPU 分层的思路，但走的是更激进的硬件固化路线。收购金额未披露。

二、Cerebras：晶圆级的延迟优势​

AMD 与 Cerebras 的合作指向超低延迟推理——这正是 Cerebras WSE 架构的看家本领：把整个模型放在一片晶圆级芯片的超大 SRAM 里，权重零搬运。合作细节未全部公开，但方向明确：在对延迟极度敏感的推理场景（实时语音、Agent 工具调用、高频交易类负载）提供 GPU 阵营外的选项。

结合上周披露的 OpenAI 第一代推理专用 ASIC 与各大云厂自研线，「推理专用硅」正在成为独立赛道，与训练用通用 GPU 分道。

三、推理市场的分层竞争图​

层	玩家	武器
通用推理	NVIDIA、AMD MI、沐曦 C600	软件生态 + 显存容量
大规模固定负载	TPU、Trainium、Maia、MTIA	ASIC 单位成本
极致延迟	Cerebras、Groq、Taalas（AMD）	SRAM 容量/权重固化
极致能效	边缘 ASIC（Hailo 等）	功耗约束下的小芯片

四、对买家的启示​

1. 延迟敏感场景有了新选项：Agent 工具调用链路里，首 Token 与工具往返延迟直接决定体验，Cerebras 类方案值得进 POC
2. 「买芯片」之外多了一条「买方案」：AMD 的组合（MI450 通用 + Taalas 专用 + Cerebras 合作）意味着同一供应商可以覆盖多种推理负载形态
3. 专用化 = 锁定风险：权重固化芯片与特定模型绑定，采购前先想清楚模型迭代频率

延伸阅读：推理成本经济学 · AMD × Anthropic 2GW · 完整对比表

当整个行业还在围绕 GPU 的 HBM 容量与机柜规模做文章时，Cerebras Systems 走了一条从根上不同的路：把整片晶圆做成一颗"芯片"。这家公司宣称其晶圆级引擎比 GPU 快 30 倍，并与 OpenAI 签署了一份高达 100 亿美元的电力协议（有效期至 2028 年）。在分析师将 Cerebras 与 AMD 并列为"未来十年可能跑赢 NVIDIA"的两家公司的当下，替代架构赛道正在从概念验证走向商业兑现。

晶圆级架构：从站内卡看 WSE-3 的底子​

根据站内 Cerebras WSE-3 芯片卡，晶圆级引擎的硬件基础如下：

项目	WSE-3（CS-3 系统）
发布	2024 年 3 月
制程	TSMC 5nm
晶体管数	4 万亿
核心数	900,000
片上 SRAM	44 GB
FP16 稀疏算力	125 PFLOPS
TDP（系统）	15 kW
形式	CS-3 整机系统（液冷）

作为对比，一颗常规旗舰 GPU 的晶体管数量在千亿级——WSE-3 的 4 万亿晶体管相当于数十颗 GPU 被熔铸在同一片晶圆上。900,000 个核心之间通过片上网络直连，配合 Weight Streaming 技术，从架构上消除了大模型训练的两大痛点：内存墙与通信开销。传统集群训练中，跨芯片的梯度同步消耗大量时间；而在晶圆级引擎上，这些"通信"变成了片上走线。

为什么晶圆级能做到快 30 倍​

晶圆级架构的原理优势集中在两点：

第一，无 reticle 限制。 传统芯片的尺寸受光刻机 reticle（曝光区域）约束，单 die 面积存在物理上限，算力扩展只能靠多芯片组网。Cerebras 通过晶圆拼接技术在整片 300mm 晶圆上制造出统一的计算平面，绕开了这个物理天花板。

第二，内存贴近计算。 44GB 片上 SRAM 与计算核心同晶圆集成，SRAM 延迟是纳秒级，带宽远超 HBM。对照行业趋势——NVIDIA 收购 Groq 后主推 SRAM-only LPU、d-Matrix 主推数字 SRAM 推理芯片——"内存贴近计算"正在成为推理架构的共同信仰，而 Cerebras 在这条路上已经走了三代。

代价同样清晰：散热与良率。15 kW 液冷整机只是单系统功耗；晶圆上任何一个缺陷区域都必须被冗余设计屏蔽，良率管理难度远超常规 die。这也解释了为什么晶圆级引擎至今仍是高投入机构的选择，而非大众市场商品。

100 亿美元电力协议：新的合作计量单位​

Cerebras 与 OpenAI 的协议核心不是芯片采购，而是电力——至 2028 年提供 100 亿美元规模的电力保障。AI 算力产业的稀缺资源排序已经悄然变化：芯片可以加急生产，数据中心可以快速搭建，但电网接入与发电能力是按年计的硬约束。"电力协议"正在取代"芯片订单"成为巨头间合作的计量单位，这与近期 Anthropic、OpenAI 动辄以吉瓦（GW）为单位锁定算力的趋势一脉相承。

配套动作同样值得注意：Cerebras 与 AMD 合作降低成本，借力 AMD 的封装与系统生态摊薄晶圆级方案的高昂制造成本。而 2026 年 10 月 2 日，Cerebras 又演示了解耦（disaggregated）芯片架构，实现推理吞吐 5 倍增益——将计算与内存功能在系统层面分离编排，为晶圆级架构打开了推理场景的新增长空间。

替代架构赛道全景：融资密度陡增​

Cerebras 不是孤军。2026 年以来，GPU 之外的架构创新密集获得资本加持：

公司	架构方向	融资/合作动态
Volantis	光子推理系统	8,800 万美元 A 轮
CScale	加速器光互连	1.45 亿美元 C 轮
Efficient Computer	数据流架构	9,700 万美元 B 轮，估值 6.5 亿美元
Q/C Technologies	纳米光子 OPU	与 Sandia 国家实验室合作
Cerebras	晶圆级引擎	OpenAI 100 亿美元电力协议

其中光计算路线尤其活跃。Volantis 的光子推理系统采用类 Face ID 的垂直腔面发射激光器（VCSEL）连接 AI 芯片与内存，用光替代电信号突破互连带宽瓶颈；Q/C Technologies 与 Sandia 国家实验室的纳米光子 OPU 则把光学计算单元推向更深的技术腹地。光互连解决的是"数据搬运"这个所有非 GPU 架构的公共瓶颈——当计算本身已经足够快，通信才是真正的墙。

GPU 之外的第三条路：先在推理落地​

训练市场的替代架构尝试屡屡受挫，但推理市场正在成为新架构的温床，原因有三：

1. 成本敏感。LLM serving 的成本结构决定了每 token 推理成本的微小改善会被海量请求放大为巨大商业价值，架构创新有了明确的回报标尺。
2. 架构可固化。训练需要灵活支持不断演进的模型结构，而推理负载相对稳定，SRAM 密集、流水线化的专用架构可以"固化"模型结构换取极致效率——这正是 LPU、数据流架构的共同打法。
3. 无生态包袱。推理可以通过 OpenAI 兼容 API 层屏蔽底层差异，绕开 CUDA 的护城河；训练则深度依赖框架与算子生态，迁移成本极高。

分析师将 Cerebras 与 AMD 并列为未来十年可能跑赢 NVIDIA 的两家，逻辑正在于此：AMD 靠性价比与开放生态蚕食存量市场，Cerebras 靠架构范式在增量市场（极致推理速度）开疆拓土。

小结​

Cerebras 的 30 倍速度宣称与 100 亿美元电力协议，共同标记了 AI 算力竞争的第二曲线：当 GPU 路线的边际改善趋缓，晶圆级、光计算、数据流架构正在从实验室走向商业化。晶圆级架构用"无 reticle 限制 + 内存贴近计算"换取极致速度，代价是散热与良率的持续攻坚；"电力协议"则揭示算力竞争的底层已是能源竞争。对行业而言，最现实的判断是：GPU 之外的第三条路会先在推理场景落地——那里成本敏感、负载稳定、生态门槛最低，也是 Cerebras、Volantis、Efficient Computer 们共同的战场。

所有 AI 芯片都在解决同一个问题：让数据离计算更近。Cerebras 的答案最为激进——干脆取消芯片边界，把整片晶圆变成一颗处理器。

WSE-3：一块 46225 平方毫米的"芯片"​

第三代晶圆级引擎 WSE-3 于 2024 年发布，沿用与前代相同的巨大外形，依靠制程升级堆叠性能：台积电 5nm 工艺，46225 平方毫米的面积上集成了 4 万亿晶体管和约 90 万个 AI 核心，44GB 片上 SRAM 均匀分布在整片晶圆表面。与英伟达 H100 的对比如下：

指标	Cerebras WSE-3	英伟达 H100	倍数
芯片面积	46225 平方毫米	约 814 平方毫米	约 57 倍
计算核心	90 万个 AI 核心	16896 个 FP32 核心	约 52 倍
片上内存	44 GB SRAM	约 50 MB	约 880 倍
内存带宽	21 PB/s	约 3 TB/s	约 7000 倍
片上结构带宽	214 PB/s	约 58 TB/s	约 3715 倍
峰值算力（FP16）	125 PFLOPS	—	—

每个核心都是独立的可编程稀疏线性代数核（SLAC），可以直接跳过零值计算；核心之间由名为 Swarm 的 2D 网格通信网络连接。44GB SRAM 让每个核心在单时钟周期内访问内存，这正是 Cerebras 推理速度优势的来源：以 16 位精度运行 Llama 3.1 8B 时每秒生成超过 1800 个 token，而基于 H100 的最优方案约为每秒 242 个。

晶圆级集成的三道难题​

把晶圆做成芯片要跨过三道坎。其一是良率：Cerebras 通过冗余设计应对制造缺陷——晶圆上预留额外核心，测试后屏蔽坏核即可正常出厂。其二是供电与散热：CS-3 系统峰值功耗约 23kW，需要定制化的供电分配与水冷系统，这也是其部署 footprint 较大的原因。其三是内存扩展：WSE 本身没有片外 HBM，Cerebras 用外挂的 MemoryX 设备将外部内存扩展至最高 1.2PB，单个逻辑内存空间可容纳高达 24 万亿参数的模型。

从"最快的训练机"到"最快的推理服务"​

有意思的是，Cerebras 商业化的转折点来自推理。2025 年初 DeepSeek-R1 发布后，推理模型的订单一度"压垮"了 Cerebras 的服务器——逐 token 的思维链生成恰恰吃满它的带宽优势。其推理服务在 Llama 3.1 405B 上跑出每秒 969 token 的输出，宣称比最优 GPU 方案快 12 倍。2026 年初，OpenAI 与 Cerebras 签署大规模算力采购协议，承诺采购 750MW 推理算力、分批部署至 2028 年，据公开报道合同金额超过 100 亿美元；AWS 也宣布将把 Cerebras 芯片引入其数据中心。这些订单支撑了 Cerebras 在 2026 年重启 IPO 进程。

小结​

晶圆级引擎是典型的"非共识但正确"路线：它牺牲了部署灵活性与单机通用性，换取了单模型推理的极致速度与极简的分布式编程模型。随着推理成本成为 AI 应用的主要瓶颈，"快"第一次有了直接的定价权。Cerebras 证明了架构创新在 GPU 巨头面前依然有生存空间——前提是找到让这种优势变现的场景。

在 Vera Rubin 平台的"七芯片堆栈"中，第七颗芯片的来路最为特殊——它不是 NVIDIA 自研的 GPU 或 CPU，而是被收购的 Groq 3 LPX。这颗专为智能体解码阶段设计的低延迟推理加速器，以 256 颗 LPU、128GB 聚合 SRAM、40 PB/s 带宽的机架形态，与 Vera Rubin NVL72 并列部署。NVIDIA 宣称其在万亿参数模型场景下每兆瓦吞吐较 Blackwell 高 35 倍。一家以通用 GPU 垄断市场的公司，为何要为"非 GPU"在自家参考架构中留下正式位置？

收购时间线：从投资到全资整合​

根据站内 NVIDIA Groq 3 LPX 芯片卡，整合过程分四步走：

事件	时间	详情
首次投资	2025-12	NVIDIA 向 Groq 投资 2.5 亿美元
全资收购	2026-Q1	NVIDIA 全资收购 Groq（约 200 亿美元）
产品整合	2026 H2	Groq 3 LPU 更名为 NVIDIA Groq 3 LPX
平台纳入	2026 H2	LPX 机架作为 Rubin GPU 的协同机架（companion rack）

2026 年 8 月的 Hot Chips 2026 上，NVIDIA 以《Think Fast: LPU Accelerator for Heterogeneous Compute》为题首次将 LPU 纳入自家参考架构的正式叙事。这在 NVIDIA 历史上极为罕见——过去三十年，NVIDIA 的架构故事里从未给"非 GPU"留下过席位。

LPX 机架规格：SRAM 的极致堆料​

站内卡与 Hot Chips 披露的规格汇总如下：

项目	单 LPU	LPX 机架（256 颗）
片上 SRAM	500 MB	128 GB 聚合
SRAM 带宽	150 TB/s	40 PB/s
机架互联	GroqSync 1 TB/s	640 TB/s
机架算力	—	315 PFLOPS
TDP	~300 W	~80 kW
实测（Gemma 4 31B）	—	单用户 3,431 token/s

最刺眼的是那组带宽对比：40 PB/s 的片上 SRAM 聚合带宽约为单颗 H100 HBM 带宽（3.35 TB/s）的 5,000 倍。LPU 完全放弃 HBM——模型权重经 Weight Streaming 灌入超大 SRAM，所有解码计算在纳秒级延迟的片上内存中完成。Hot Chips 实测数据显示，Gemma 4 31B 单用户吞吐达 3,431 token/s；运行 DeepSeek V3 级别的万亿参数模型约需 5 个机架。架构层面还有一个工程细节：FPGA 桥接同步域与异步域，投机解码只替换 draft token，保证确定性低延迟不被破坏。

为什么智能体负载需要 LPX​

Agentic AI 的负载特征与聊天机器人截然不同。一个智能体执行任务时动辄发起上百次模型调用——规划、工具选择、结果校验层层嵌套，且调用之间存在串行依赖，前一步的解码不结束，后一步的请求就不会发出。这意味着：

• decode 阶段是纯粹 memory-bound：每生成一个 token 都要完整读取一遍模型权重与 KV Cache，算力大量闲置，瓶颈在内存带宽与延迟；
• 延迟是体验与成本的双重货币：单次调用多花 100ms，乘以链式调用的次数就是秒级的体验劣化与集群吞吐的坍缩。

NVIDIA 官方数据给出了量化的答案：LPX 机架 TTFT（首 token 延迟）小于 20ms、TPOT（单 token 延迟）小于 5ms，而 H100 分别约 200ms 与 30ms。对于每秒上千次调用的智能体场景，这不是"更快一点"，而是"可用与不可用"的区别。

SRAM vs HBM：一场精确的架构取舍​

LPX 的 SRAM-only 路线并非全面超越，而是一次方向性取舍：

维度	SRAM（LPX）	HBM（GPU）
延迟	纳秒级	微秒级
带宽密度	极高（40 PB/s/机架）	高（TB/s 级/芯片）
容量	小（单芯 500MB）	大（单卡 141-288GB）
成本/位	高	相对低
适用负载	decode、低延迟小模型	prefill、训练、大容量模型

SRAM 容量小是硬伤——万亿参数模型必须靠 Weight Streaming 与多机架协同，5 个机架跑一个 DeepSeek V3 级模型的配置成本绝非小客户所能承受。但它换来了 HBM 永远给不了的确定性与带宽密度。这不是孰优孰劣的问题，而是两种负载物理特性驱动的必然分工。

异构分工新范式：GPU 管 prefill、LPU 管 decode​

LPX 与 Vera Rubin NVL72 并列部署（companion rack）的设计，确立了"训练用 GPU、prefill 用 GPU、decode 用 LPU"的异构分工范式：

1. 训练：Rubin GPU，吃算力与互联扩展性；
2. prefill（首 token 生成前的上下文处理）：Rubin GPU，并行度极高，吃算力；
3. decode（逐 token 生成）：LPX 机架，串行依赖、memory-bound，吃带宽与延迟。

这就是"每 token 经济学"推导出的结论：prefill 吃算力，decode 吃带宽，用不同架构分别解决，总成本更低。NVIDIA 借此完成了从"一颗 GPU 卖所有场景"到"全场景算力矩阵"的进化——训练、通用推理、极致低延迟推理，一个平台全覆盖。

独立 LPU 市场的终结与同源逻辑​

NVIDIA 买下 Groq，另一个层面的影响同样深远：独立 LPU 市场事实上终结了。曾经 Groq 是"推理专用芯片挑战 NVIDIA"的旗帜，如今旗帜归入了对方阵营。市场上仍坚持独立路线的推理架构玩家，呈现出耐人寻味的同源逻辑：

• d-Matrix：数字 SRAM 推理芯片，接受 NVIDIA 入股；
• Cerebras：晶圆级 SRAM（44GB 片上），与 OpenAI 签署 100 亿美元电力协议；
• LPX（Groq）：SRAM-only LPU，已被 NVIDIA 收编。

三者殊途同归——都判断"内存贴近计算、SRAM 替代 HBM"是推理场景的最优解。区别只在商业化路径：被收购、被投资、硬刚。当架构共识已经形成，竞争的焦点就从"方向对不对"转向"谁能耗到最终局"。

小结​

Groq 3 LPX 并入 Rubin 平台，标记了智能体推理基础设施的范式转折：decode 阶段被正式承认为一种独立的负载类型，需要独立的架构来解决。LPX 机架用 256 颗 LPU、128GB SRAM、40 PB/s 带宽和 35 倍每兆瓦吞吐，把"最后一公里"的解码延迟压到了毫秒以下；而 companion rack 的部署形态则确立了 GPU 与 LPU 异构分工的新范式。对采购者，评估 AI 集群时需要开始区分 prefill 与 decode 的算力配置；对行业观察者，NVIDIA 吞下 Groq 之后，独立推理芯片阵营的每一步——d-Matrix 的选择、Cerebras 的坚持——都值得放在"SRAM 共识"的框架下重新审视。

当整个行业在"堆算力"上内卷时，SambaNova 选择回答另一个问题：推理效率取决于喂饱计算单元的能力，而不只是计算单元本身。

RDU：可重构数据流架构​

SN40L 的核心是可重构数据流单元（Reconfigurable Dataflow Unit，RDU）。它没有采用传统的"CPU 式取指执行"或"GPU 式 SIMT"，而是把计算组织成可编程的数据流图：每个 RDU 插槽包含 1040 个模式计算单元（PCU）与 1040 个模式内存单元（PMU），通过可编程的数据流网络互连。

芯片采用台积电 5nm 工艺与 2.5D CoWoS 封装，集成两个 RDU 计算裸片，单插槽峰值算力为 638 TFLOPS（BF16），片上聚合内存带宽达数百 TB/s 量级。这种架构最大的价值在于算子融合：编译器可以把数百个复杂操作合并为一次内核调用，把中间结果留在片上。以论文中给出的 Monarch FFT 为例，未融合时算术强度为每字节约 39.5 次操作，完全空间融合后提升至约 410 次——外部访存需求大幅下降。

三层内存：SRAM、HBM、DDR 各司其职​

SN40L 最具辨识度的设计是三层内存体系：

内存层级	容量（每芯片）	角色
片上 SRAM（PMU）	520 MB	最高带宽，紧贴计算单元
片上 HBM（封装内）	64 GB	存放正在运行的模型与热点数据
可插拔 DDR DRAM	最高 1.5 TB	存放更多模型与检查点

这个设计的巧思在于容量与成本的平衡：HBM 贵而小，DDR 便宜而大。模型从 DDR 加载到 HBM 的速度超过 1 TB/s，因此一套 16 芯片的 SambaRack 拥有 24TB DDR，可以在单系统中驻留 DeepSeek-R1 671B 这样的大模型，也能同时服务大量小模型。SambaNova 披露，在混合专家推理部署中，SN40L 相比 DGX H100 端到端提速 3.7 倍，模型切换时间提升 15 至 31 倍，机房占地最多缩减 19 倍；整rack采用风冷，功耗约 10kW，远低于晶圆级方案的 23kW 水冷系统。

企业推理的差异化路线​

SambaNova 与 Cerebras、Groq 的公开对比揭示了路线差异：Cerebras 擅长单用户极致 token 速度，但 SambaNova 指出其每片 LPU 仅约 230MB SRAM、无片外内存，服务 70B 模型需要数百颗芯片；而 SN40L 用 16 颗芯片即可完成同类部署。换句话说，SambaNova 押注的是"多用户、多模型、企业级"的推理经济学，而非单点跑分。

据公开报道，2026 年 2 月 SambaNova 发布了下一代 SN50 芯片，宣称面向智能体 AI 工作负载提供 3.2 PFLOPS FP8 算力，三层内存可支持高达 10 万亿参数模型，软银成为首个客户，公司同期完成超过 3.5 亿美元融资，并宣布与 Intel 展开多年期软硬件协同合作。

小结与建议​

SN40L 的启示在于：推理时代的竞争正在从峰值算力转向"单位 token 的系统经济学"。如果你的业务是多租户、多模型的企业 AI 平台，或需要频繁切换模型、在私有环境部署超大模型，三层内存架构提供了 GPU 集群难以复制的容量弹性；如果追求单用户最低延迟，晶圆级与 LPU 路线可能更合适。选型的关键，是先弄清自己的负载形状。

On January 5, 2026, on the opening day of CES 2026 (Consumer Electronics Show), AMD Chair and CEO Dr. Lisa Su unveiled in her keynote: the Instinct MI400 series AI accelerators.

The most eye-catching is MI455X — AMD's most powerful AI accelerator ever, using a 2nm + 3nm hybrid process, 432GB HBM4, with FP4 compute up to 40 PFLOPS (20 PFLOPS FP8).

Key highlights​

• MI455X: FP4 40 PFLOPS, FP8 20 PFLOPS, 10× over MI355X
• MI450: cost-performance version, FP4 28 PFLOPS, 288GB HBM4
• Process upgrade: world's first AI chip with 2nm + 3nm hybrid process (GCD on 2nm, MCD on 3nm)
• Memory upgrade: from MI350X's 288GB HBM3e to 432GB HBM4 (MI455X)
• Bandwidth upgrade: from MI350X's 8 TB/s to 19.6 TB/s (2.45×)
• Architecture upgrade: from CDNA 4 to CDNA 5
• Mass production: MI455X Q4 2026, MI450 Q3 2026

Full MI400 series specs​

📌 Important correction (2026-06-16): After official spec verification, MI455X memory is 432GB HBM4 (not the earlier reported 288GB), and FP4 compute is 40 PFLOPS. Corrected herein.

Model	Positioning	Memory	FP4 compute	FP8 compute	TDP (est.)
MI455X	Flagship training+inference	432GB HBM4	40 PFLOPS	20 PFLOPS	~1,000W
MI450	Cost-performance training	288GB HBM4	28 PFLOPS	14 PFLOPS	~800W
MI440X	Enterprise inference	216GB HBM4	25 PFLOPS	12.5 PFLOPS	~600W
MI430X	HPC / scientific computing	192GB HBM4	20 PFLOPS	10 PFLOPS	~500W
MI400X	General / edge inference	128GB HBM4	12 PFLOPS	6 PFLOPS	~400W

Key upgrades (vs MI350 series):

• Memory: HBM3e → HBM4, capacity +50% (432GB vs 288GB)
• Bandwidth: 19.6 TB/s (vs MI350's 8 TB/s, +2.45×)
• Compute: FP4 40 PFLOPS (vs MI355X's 20 PFLOPS, +2×)
• Process: 2nm + 3nm hybrid (GCD on 2nm, MCD on 3nm)
• Architecture: CDNA 5 (vs MI350's CDNA 4)

Performance vs. MI355X​

Metric	MI355X (2025)	MI455X (2026)	Improvement
FP4 compute	20 PFLOPS	40 PFLOPS	2×
FP8 compute	10 PFLOPS	20 PFLOPS	2×
Memory capacity	288GB HBM3e	432GB HBM4	1.5×
Memory bandwidth	8 TB/s	19.6 TB/s	2.45×
Process	TSMC 3nm	2nm + 3nm hybrid	New gen
Architecture	CDNA 4	CDNA 5	New gen
TDP	800-1000W	~1,000W	Flat

Lisa Su at CES 2026:

"Four years ago, MI250's AI performance was X. Today, MI455X's performance is 1000× that. That's the pace of AI chip progress."

CDNA 5 architecture in detail​

The MI400 series adopts the CDNA 5 architecture (MI355X uses CDNA 4):

Key upgrades​

1. Matrix Core upgrade: FP8/INT8/FP16 support, sparsity acceleration
2. HBM4 controller: 12-layer HBM4 (vs HBM3e's 8 layers)
3. Infinity Fabric 4.0: 50% higher die-to-die / die-to-GPU bandwidth
4. Native sparsity support: MoE Expert-Parallel optimization
5. Long-context optimization: 1M+ token KV Cache acceleration

vs. NVIDIA Blackwell / Rubin​

Metric	AMD MI455X	NVIDIA B200	NVIDIA Rubin R200 (2026 Q4)
FP4 compute	40 PFLOPS	20 PFLOPS (45 sparse)	~40 PFLOPS (est.)
FP8 compute	20 PFLOPS	10 PFLOPS (22.5 sparse)	~20 PFLOPS (est.)
Memory	432GB HBM4	192GB HBM3e	288GB HBM4
Memory bandwidth	19.6 TB/s	8 TB/s	13 TB/s
TDP	~1,000W	700-1000W	~1,000W
Process	2nm + 3nm hybrid	TSMC 4np	TSMC 3nm
Mass production	2026 Q4	2024 Q4	2026 Q4
Software ecosystem	ROCm	CUDA	CUDA
Strength	Memory capacity, open ecosystem	Most mature ecosystem	Next-gen architecture
Weakness	Software ecosystem gap	Smaller memory	Not yet launched

Conclusion: MI455X leads B200 in FP4/FP8 compute and memory capacity/bandwidth, but software ecosystem remains a weak point. Versus Rubin R200, paper specs are close, but Rubin has the CUDA ecosystem moat.

Production timeline​

Time	Event
June 12, 2025	MI400 series specs first announced at Advancing AI
January 5, 2026	MI455X/MI450/MI440X formally launched at CES 2026
2026 Q3	MI450 sampling begins
2026 Q4	MI455X mass production
2026 Q4	MI440X (enterprise inference) launched
2027 Q1	MI430X/MI400X (HPC/edge inference) launched
2027	MI500 series (next gen)

AMD AI chip roadmap (2025-2027)​

Time	Product	Process	Notes
Q4 2024	MI325X	TSMC 5nm	HBM3e upgraded
Q3 2025	MI355X (MI350 series)	TSMC 3nm	CDNA 4, 288GB HBM3e
Q4 2026	MI455X (MI400 series)	2nm + 3nm hybrid	CDNA 5, 432GB HBM4
Q1 2027	MI500 series	TSMC 2nm (est.)	Next gen, further gains

Software ecosystem: ROCm's progress and challenges​

✅ Progress​

• PyTorch 2.5+: native MI300X/MI455X support
• Hugging Face Transformers: official AMD GPU support
• vLLM 0.8+: MI300X inference support (experimental)
• JAX: AMD adapting (vs Google TPU)

⚠️ Challenges​

• Framework optimization: PyTorch on AMD GPUs still below NVIDIA
• Operator coverage: some niche operators need hand-written HIP
• Multi-card communication: RCCL (vs NCCL) still lags
• Developer ecosystem: tutorials, cases, community activity far below NVIDIA

Competitive comparison​

Vendor	Product	FP4 compute	Memory	Mass production	Strength	Weakness
AMD	MI455X	40 PFLOPS	432GB HBM4	2026 Q4	Largest memory, open ecosystem	Software gap
NVIDIA	B200	20 PFLOPS	192GB HBM3e	2024 Q4	Most mature ecosystem	Smaller memory
NVIDIA	Rubin R200	~40 PFLOPS	288GB HBM4	2026 Q4	Next-gen architecture, CUDA	Expensive
Huawei	Ascend 910C	~1.6 PFLOPS	64GB HBM	2026 Q2	China-localized	Export-controlled
Google	TPU 8t	~9.2 PFLOPS	~256GB HBM3e	Late 2027	Gemini-integrated	Google Cloud only

Industry impact​

1. Impact on NVIDIA​

On paper, AMD MI455X has already caught up to B200 (FP4 40 PFLOPS vs 20 PFLOPS), even leading substantially in memory capacity (432GB vs 192GB).

But:

• NVIDIA has the CUDA ecosystem moat
• NVIDIA has the Vera Rubin platform (full solution, 2026 Q4)
• AMD only sells cards/nodes, NVIDIA sells AI factories
• MI455X mass production (2026 Q4) coincides with Rubin R200 — head-on competition

2. Pressure on domestic chips​

MI455X's launch means: mainstream international AI chips enter the 2nm + HBM4 era in 2026.

Domestic chips (Huawei Ascend, Cambricon, MetaX, etc.) need to:

• Catch up to 5nm + HBM3e by 2026-2027
• Otherwise the gap widens from "1 generation" to "2 generations"

3. Significance for cloud providers​

MI455X gives cloud providers a second option beyond NVIDIA:

• Microsoft Azure: already deployed MI355X, may follow with MI455X
• Google Cloud: in-house TPU, won't use AMD
• Amazon AWS: in-house Trainium/Inferentia, won't use AMD
• Alibaba Cloud, Tencent Cloud: may procure MI455X as NVIDIA alternative

Related chips​

• AMD MI455X - the new launch
• AMD MI300X - previous flagship
• AMD MI325X - HBM3e upgraded
• NVIDIA B200 - direct competitor
• NVIDIA Rubin R200 - same-generation competitor

References​

• MI455X chip - Baidu Baike - official specs
• AMD drops its most powerful two-gen AI chips! World's first 432GB HBM4 - Zhihu - on-site report
• Taking on NVIDIA: AMD launches MI440X for enterprise AI data centers - Tencent News
• AMD MI400 packs 432GB HBM4: specs crush NVIDIA on paper - CocoLoop
• AMD CES 2026 keynote replay

---

This article is compiled from AMD CES 2026 official announcements, Baidu Baike, and Zhihu on-site reports; specs verified against official sources. Updated 2026-06-16: corrected MI455X memory (288GB → 432GB) and compute (FP8 6 PFLOPS → FP4 40 PFLOPS).

On March 18, 2026, Intel officially launched at the Intel AI Summit: the Habana Gaudi 4 custom AI accelerator. This is Intel's latest-gen AI training/inference chip after Gaudi 3 (launched April 2024), designed for large-scale model training.

Meanwhile, Intel confirmed its next-gen Jaguar Shores GPU (datacenter GPU) is in development, will use HBM4 memory, and is expected in 2027. This marks Intel's formal return to the AI chip race.

Key Highlights​

• Gaudi 4: Launched March 2026, TSMC 5nm, 64GB HBM3e, for large-scale training
• Jaguar Shores: Launches 2027 (est.), HBM4, targeting NVIDIA Rubin
• Crescent Island: Intel's first general-purpose GPU (launched 2026), Xe3 architecture
• Software ecosystem: Intel AI Stack (including oneAPI, BigDL, Gaudi Software Suite)
• Foundry partners: TSMC (Gaudi 4, Jaguar Shores), Intel Foundry (Crescent Island)

Gaudi 4 Detailed Specs​

Gaudi 4 is the fourth-gen AI accelerator designed by Intel's Habana Labs (acquired 2019).

Parameter	Gaudi 4	Gaudi 3 (2024)	NVIDIA B200
Architecture	Habana 4	Habana 3	Blackwell
Process	TSMC 5nm	TSMC 7nm	TSMC 4NP
FP8 compute	~2,000 TFLOPS (est.)	1,000 TFLOPS	4,500 TFLOPS (sparse)
Memory	64GB HBM3e	128GB HBM2e (est.)	192GB HBM3e
Memory bandwidth	~3 TB/s (est.)	~2 TB/s (est.)	8 TB/s
TDP	~500W (est.)	~400W	700-1000W
Interconnect	RoCE v3 (Ethernet)	RoCE v2	NVLink 5.0
Launch	March 2026	April 2024	March 2024
Mass production	2026 Q3 (est.)	Q4 2024	Q4 2024

📌 Note: Gaudi 4 exact specs not fully public; some values above are estimates.

Gaudi 4 Key Features​

1. Native Ethernet support: Uses RoCE v3 (RDMA over Converged Ethernet), no dedicated interconnect protocol needed (like NVLink)
2. Large-scale scaling optimized: Ten-thousand-card cluster scaling efficiency better than InfiniBand (lower cost)
3. Sparsity acceleration: Native MoE model support
4. Multi-precision support: FP8/FP16/FP32/INT8/INT4
5. Open ecosystem: Supports PyTorch, TensorFlow, JAX (via third-party adaptation)

Jaguar Shores: Intel's Next-Gen GPU​

Jaguar Shores is Intel's first true datacenter GPU (not an ASIC like Gaudi).

Why "Jaguar Shores"?​

• Jaguar: Symbolizes "speed" and "agility"
• Shores: Symbolizes "openness" and "connection"

Jaguar Shores Estimated Specs​

Parameter	Jaguar Shores (est.)	NVIDIA Rubin	AMD MI455X
Architecture	Xeu 3 (est.)	Rubin	CDNA 4
Process	TSMC 3nm (est.)	TSMC 3nm	TSMC 3nm
Memory	HBM4 (confirmed)	HBM4	HBM4
Memory capacity	288GB (est.)	288GB	288GB
FP8 compute	~4,000 TFLOPS (est.)	~6,000 TFLOPS	6,000 TFLOPS
TDP	~800W (est.)	~1,000W	~800W
Launch	2027 (est.)	2026 Q3	2026 Q3

Key confirmations:

• ✅ HBM4 memory: Intel confirmed Jaguar Shores will use SK hynix HBM4
• ✅ TSMC foundry: Jaguar Shores will be produced by TSMC (not Intel Foundry)
• ✅ oneAPI native support: Jaguar Shores will natively support the oneAPI programming model

Crescent Island: Intel's First General-Purpose GPU​

Crescent Island is Intel's first general-purpose datacenter GPU announced October 2025, using the Xe3 architecture (upgrade of Xe-HPG).

Parameter	Crescent Island (est.)	Intel Data Center GPU Max	NVIDIA L40S
Architecture	Xeu 3	Xeu 2 (Ponte Vecchio)	Ada Lovelace
Positioning	General compute + AI inference	HPC + AI training	AI inference + graphics
Process	TSMC 5nm (est.)	Intel 7 + TSMC 5nm	TSMC 4N
Memory	48GB HBM3 (est.)	128GB HBM2e	48GB GDDR6
TDP	~300W (est.)	600W	350W
Launch	2026 (est.)	Jan 2023	Mar 2023

Positioning:

• ✅ General-purpose GPU: Both AI inference and scientific computing (HPC)
• ✅ Low cost: Cheaper than Gaudi 4, targeting NVIDIA L40S
• ✅ Open standards: Supports oneAPI, SYCL, Level Zero

Intel AI Chip Roadmap (2024-2027)​

Time	Product	Type	Process	Note
2024 Q4	Gaudi 3	AI ASIC	TSMC 7nm	Current mainstay
2026 Q2	Crescent Island	General GPU	TSMC 5nm	New launch
2026 Q3	Gaudi 4	AI ASIC	TSMC 5nm	New launch
2027	Jaguar Shores	Datacenter GPU	TSMC 3nm	Next-gen flagship
2027	Gaudi 5 (est.)	AI ASIC	TSMC 3nm	Next-gen

vs Competitors​

Gaudi 4 vs NVIDIA B200​

Metric	Gaudi 4	NVIDIA B200
FP8 compute	~2,000 TFLOPS	4,500 TFLOPS
Memory	64GB HBM3e	192GB HBM3e
Interconnect	Ethernet (RoCE v3)	NVLink 5.0
Software ecosystem	Gaudi Software Suite	CUDA
Price	est. ~$20,000	~$45,000
Advantage	Low Ethernet cost, open	Most mature ecosystem, strongest performance
Disadvantage	Weak software ecosystem, lower compute	Expensive

Conclusion: Gaudi 4 is positioned as a "cost-effective training solution," suited for cost-sensitive customers willing to invest in software adaptation.

Jaguar Shores vs NVIDIA Rubin​

Metric	Jaguar Shores (est.)	NVIDIA Rubin
FP8 compute	~4,000 TFLOPS	~6,000 TFLOPS
Memory	288GB HBM4	288GB HBM4
Software ecosystem	oneAPI	CUDA
Mass production	2027	2026 Q3
Advantage	Open standards, possibly cheaper	Mature ecosystem, first-mover advantage
Disadvantage	Weak ecosystem, 1 year late	Expensive

Conclusion: If Jaguar Shores launches on time with sufficient oneAPI ecosystem improvement, it can become NVIDIA's third choice (after NVIDIA and AMD).

Software Ecosystem: oneAPI Progress and Challenges​

What is oneAPI?​

oneAPI is Intel's open, cross-architecture programming model:

• Supports CPU, GPU, FPGA, AI accelerators
• Based on SYCL standard (similar to CUDA's C++ extensions)
• Open-source implementation (Intel oneAPI Base Toolkit)

Intel AI Stack​

Component	Purpose	Counterpart
oneAPI	Cross-architecture programming model	CUDA
BigDL	Distributed deep learning framework	PyTorch Distributed
Gaudi Software Suite	Gaudi-specific software stack	NVIDIA GPU Cloud (NGC)
Intel Extension for PyTorch	PyTorch optimization on Intel hardware	NVIDIA PyTorch
Intel Optimization for TensorFlow	TensorFlow optimization on Intel hardware	NVIDIA TensorFlow

✅ Progress​

• PyTorch 2.5+: Intel Extension integrated into PyTorch mainline
• Hugging Face Transformers: Official Intel GPU support (via optimum-intel)
• vLLM: Experimental Gaudi support (performance TBD)

⚠️ Challenges​

• Developer habits: Global AI developers use CUDA; oneAPI has a steep learning curve
• Operator coverage: Many PyTorch operators lack oneAPI-optimized versions
• Performance: At same power, Gaudi 4 performance is only ~50% of B200

Industry Impact​

1. Can Intel Return to the AI Race?​

Challenges:

• ❌ Ecosystem disadvantage: CUDA moat too deep, oneAPI hard to shake
• ❌ Performance disadvantage: Gaudi 4 only ~50% of B200
• ❌ Timing disadvantage: Jaguar Shores 1 year later than Rubin

Opportunities:

• ✅ Open standards: Not dependent on CUDA, suited for "anti-NVIDIA-monopoly" customers
• ✅ Ethernet advantage: RoCE v3 cheaper than InfiniBand at ten-thousand-card scale
• ✅ Intel Foundry: If Jaguar Shores uses Intel's own process, lower cost

2. Impact on AMD​

Intel's return to the AI race is bad for AMD:

• AMD was the "only NVIDIA alternative"
• Now Intel is back too; AMD's "alternative" status is challenged
• But in the short term (2026-2027), Intel cannot yet threaten AMD

3. Impact on Domestic Chips​

Intel Gaudi 4's launch is a reference case for domestic chips:

• Proves the Ethernet route (RoCE) is viable
• Proves open ecosystem (oneAPI) is hard but necessary
• Proves the cost-effective route has a market (cost-sensitive customers)

Related Chips​

• Intel Gaudi 3 - Previous-gen product
• Intel Gaudi 4 - New launch (to be created)
• Intel Crescent Island - Intel's first general GPU (to be created)
• NVIDIA B200 - Direct competitor
• AMD MI455X - Same-gen competitor

References​

• Intel Newsroom: Gaudi 4 Launch
• Tom's Hardware: Intel Jaguar Shores to use HBM4
• Wccftech: Intel Next-Gen Jaguar Shores GPU
• U.S. News: Intel Signals Return to AI Race

---

This article is compiled from Intel official announcements and public materials. Some specs are estimates, subject to final Intel release.