跳到主要内容

3 篇博文 含有标签「推理芯片」

AI 推理专用芯片与加速器

查看所有标签

云巨头自研芯片浪潮 2026：OpenAI Jalapeño、Maia 200、MTIA、TPU v8 集体"去英伟达化"

· 阅读需 6 分钟
AI Compute Cards Wiki Editorial
Industry Research Team

2026 年 8 月 Hot Chips 的周二下午 AI 专场，是本届最有历史意义的一场——不是因为某颗芯片多强，而是因为登台的几乎全是"超算厂商去 NVIDIA 化"的自研 ASIC：Google 第八代 TPU、OpenAI 首颗自研芯片、微软 Maia、Meta MTIA、Cerebras 晶圆级机架同台。当全球最大的 AI 算力买家开始把 GPU 当作"可选项之一"，AI 硬件的权力结构正在松动。

1. OpenAI Jalapeño：9 个月造出一颗芯片​

OpenAI 于 2026 年 6 月 24 日联合博通发布首款自研推理 ASIC Jalapeño，是"自研推理芯片俱乐部"的第五个成员。

维度Jalapeño
合作方博通（Broadcom）+ 台积电制造
定位推理专用 ASIC
设计周期端到端 9 个月（Greg Brockman 称借助 OpenAI 自有模型辅助设计）
成本目标较通用 GPU 栈 token 成本降约 50%
商用时间2026 年底首批部署，长期目标 10GW 自研芯片
合作规模与博通最高 100 亿美元战略合作（2029 年前部署加速器与网络）

演讲标题"You Can Just Build Things … Chips"本身就是信号：最大的 AI 算力买家不再默认 GPU 是唯一路径。

2. Google TPU v8：十年来最大架构转向——训练/推理分芯​

Google 拥有最悠久的自研芯片历史（2016 至今），第八代 TPU 首次将产品线一分为二：

型号代号合作方定位关键规格
TPU 8tSunfishBroadcom训练单 pod 9600 卡、121 FP4 ExaFLOPS、2PB 共享 HBM、ICI 带宽翻倍
TPU 8iZebrafishMediaTek推理288GB HBM、384MB 片上 SRAM（3× 上代）、ICI 19.2 Tb/s

产能方面，摩根士丹利基于供应链访谈估算 2026 年 Google TPU 产量可能超 300 万颗（券商预测，非官方目标）。Google 也是唯一实现自研芯片大规模部署并对外销售算力的厂商（Gemini 跑在 TPU 上）。

3. Meta MTIA：从推荐系统到 GenAI 双使命​

Meta 的自研之路起点最清晰——MTIA 最初为推荐排序硬件而生，正被生成式 AI 拉向双使命。

  • MTIA 300 已部署；400 / 450 / 500 计划在 2027 年前约每 6 个月推出一款；
  • 基于 RISC-V，Meta 称最高 25× 算力增益；
  • 节点沿行业节奏演进：100（7nm）→ 200（5nm）→ 300 系列（3nm + CoWoS）；
  • 与 博通合作，据称另一颗代号 Iris 的芯片已于 2026 年 7 月通过测试；
  • Meta 计划 2026 年 9 月启动其中一款的量产，以将其整体算力翻倍。

4. 微软 Maia 200/300：部署最领先​

微软 Maia 200 于 2026 年 1 月 26 日发布，是四家中部署最先进的：

维度Maia 200
制程台积电 3nm，1400 亿+ 晶体管
算力10+ PFLOPS FP4 / 5 PFLOPS FP8
显存216GB HBM3E，7 TB/s
功耗750W
部署已在得梅因（Des Moines）数据中心运行，服务 OpenAI GPT-5.2 与 Microsoft 365 Copilot

微软称其在特定基准上约 3× 亚马逊 Trainium 性能。短期策略是"自研 Maia + 外购英伟达"双路线并行——自研芯片从设计到量产需要时间，英伟达成熟生态短期内无法替代。

5. 亚马逊 Trainium 3 与 Anthropic 自建团队​

  • 亚马逊：Trainium 系列已商用，累计部署 140 万颗（官方披露），是数十亿美元业务；优势在 AWS 客户基数——企业可在英伟达 GPU 与自研芯片间选择。Trainium 3 延续这一路线。
  • Anthropic：2026 年 8 月宣布组建自建芯片团队，尚无 tape-out 或量产时间表，初期定位为补充（而非取代）与 NVIDIA/AMD/AWS/Google Cloud 的现有合作，目标是为 Claude 架构量身打造、摆脱对单一 GPU 的依赖。

6. NVIDIA 的回应：不是更快的 GPU，而是全栈​

容易把叙事简化成"四家造芯片、英伟达防守 GPU"。但 NVIDIA 在 Hot Chips 拿了 6 个 slot：RISC-V 教程、Vera CPU、Rubin GPU、BlueField-4 DPU、Spectrum-X 多平面网络、以及 LPU 加速器。

一颗 hyperscaler ASIC 只替换了这五个支柱中的一个。如果 CPU、NIC、交换 fabric 与软件都来自同一家供应商，把加速器换掉省下的，比加速器那一行账单暗示的要少得多。Rubin 的打法是一个横跨七颗芯片、五种机柜的全栈 AI 工厂平台——竞争回应是"全栈位置"，而非"更快的一颗芯"。

7. 趋势判断：推理去 GPU 化，训练仍 GPU 主导​

  • 推理侧：CUDA 护城河明显变浅。推理在端点层面可并行、可替换，自研 ASIC 通过剪掉通用性税（只实现 LLM 实际执行的操作）换取更低 cost/token。Groq LPU、Cerebras、各家 TPU/ASIC 都在同一指标上竞争。
  • 训练侧：Foundation model 仍用 GPU 训练，短期内无人认真挑战。NVIDIA 在训练的三道护城河（最快硅 + NVLink + CUDA）依旧牢固。
  • 结论：自研芯片不是"替代英伟达"，而是在推理这一最大、增长最快的战场上，给买家一个可信的谈判外部选项——这本身就足以重塑 AI 基础设施的经济学。

相关链接​

参考资料​

本文基于 2026 年 8 月 Hot Chips 现场报道、企业公告与行业分析整理。部分产能与性能为券商估算或厂商公布口径，实际以量产产品为准。

推理加速卡市场 2026：占加速器市场60%-70%，GPU 与 ASIC 份额反转，五大流派混战

· 阅读需 5 分钟
AI Compute Cards Wiki Editorial
Industry Research Team

过去三年，整个 AI 硬件故事都是"训练"：谁有最多 H100、谁能把十万卡连成集群。这场竞赛基本尘埃落定——NVIDIA 赢了。但下一战场"推理"正在完全不同的规则下开打：衡量标准不是峰值 FLOPS，而是 cost-per-token（每 token 成本）、时延与功耗。2026 年，推理芯片第一次在规模上压倒训练，成为 AI 加速器的主战场。

1. 推理成为主战场：80%–90% 的算力花在推理上​

训练一个大模型要花数亿美元——一次。但模型上线后，它要日复一日回答数十亿次查询。一个热门消费级模型可能需要上万颗加速器 7×24 小时运行才能跟上需求。因此：

  • 推理约占一个模型生命周期算力的 80%–90%；
  • 推理芯片将占 2026 年约 $400B AI 加速器市场的 60%–70%，而 2023 年这一比例仅约 40%；
  • 推理芯片增速（预计年增 52.7%）显著高于训练芯片（28.4%），推理侧算力需求占比 2026 年首次超过训练侧，达 54%（约 $1010B）。

推理的经济学很直接：训练成本被摊销到微不足道，推理成本成为整张账单。每降低 1% 推理成本，都直接流向利润——对 OpenAI 这种推理流量达 hyperscale 体量的公司，Half 的账单是后面跟着一堆零的数字。

2. 市场规模：结构性增长拐点已至​

市场2026 规模增速备注
全球推理专用芯片$412.7B+38.4%较训练芯片增速高 14.2 pct
中国推理专用芯片$118.6B（占全球 28.7%）+44.1%亚太增速最强单一市场
全球 AI 训练/推理芯片（含 GPU/NPU）突破 $1850B+40.2%GPU 占约 62%

中国市场国产化替代加速，国产推理芯片出货占比达 34.6%，较 2025 年提升 9.8 pct。

3. 技术路线份额反转：GPU 放缓，ASIC 飙升​

路线2026 出货份额趋势
GPU52.6%仍居首，但增速放缓至 22.7%
ASIC 定制芯片41.3%从 2022 年 17.8% 大幅攀升
FPGA稳定特定低时延场景

GPU 凭借生态成熟度仍是主力，但 NPU/ASIC 在能效比上已实现对同代 GPU 1.8 倍的优势，推动其在边缘与端侧采用率快速攀升。专为推理优化的 ASIC 出货量预计达 1150 万颗，单位成本较 GPU 降低约 35%。

4. 五大流派混战​

流派代表产品核心优势适用场景
通用 GPUNVIDIA Rubin / B200 / H200生态成熟、训推一体前沿训练 + 高交互推理
LPU（语言处理单元）Groq LPU极低时延、确定性吞吐实时对话、高并发推理
TPU（推理专用）Google TPU 8i（Zebrafish）288GB HBM、384MB 片上 SRAM、ICI 19.2 Tb/sGoogle 规模化推理
自研 ASICOpenAI Jalapeño、微软 Maia 200、Meta MTIA针对自家模型剪掉通用性税，cost/token 降 ~50%hyperscaler 自有负载
风冷推理卡Intel Crescent Island350W 风冷、480GB LPDDR5X、tokens/watt成本敏感中长尾推理

OpenAI 与博通合作的 Jalapeño 目标将推理 token 成本较通用 GPU 栈降低约 50%——这是第五个加入"自研推理芯片俱乐部"的成员（前有 Google TPU、亚马逊 Inferentia/Trainium、微软 Maia、Meta MTIA）。

5. 核心指标转向：cost-per-token 与 tokens/watt​

推理竞赛与训练竞赛的根本不同在于切换成本低：

  • 训练需要 10 万卡集群 + NVLink + CUDA，迁移成本极高；
  • 推理在端点层面" embarrassingly parallel"——不需要百万卡集群，一个能快速便宜出 token 的节点即可，per-endpoint 可替换。

这意味着 NVIDIA 的三道护城河（最快硅、NVLink 扩展、CUDA）在推理侧都不再绝对。当最大的 AI 买家（OpenAI）开始把 GPU 当作"可选项之一"，GPU 溢价就开始消蚀——定价权依赖稀缺性，而自研芯片从两个方向同时攻击稀缺性：既减少商户芯片需求，又给买家一个可信的谈判外部选项。

6. 边缘与端侧爆发：长尾化信号​

需求端呈现显著长尾化与碎片化：

场景2026 需求规模增速
云端推理$198.2B（占 48%）+24.5%（放缓）
边缘推理$126.5B（占 30.7%）+52.3%
端侧推理$88.0B（占 21.3%）+68.9%
智能驾驶推理$67.3B+58.2%
工业质检 / 机器人推理$42.1B+63.7%

推理负载的时延敏感性与功耗约束正在重塑芯片架构设计优先级——这也解释了为何 Crescent Island 这类"风冷大显存"方案能找到生存空间。

相关链接​

参考资料​

本文基于 2026 年公开市场研究、券商报告与行业分析整理。市场规模与份额为第三方机构测算，口径不一，仅供参考。

OpenAI 自研 AI 芯片 Jalapeño 深度解析：9 个月流片，推理成本降低 50%

· 阅读需 10 分钟
Charles Qing
AI Hardware Analyst

2026 年 6 月 24 日，OpenAI 与博通（Broadcom）联合发布首款自研 AI 推理芯片 Jalapeño。这款专为大型语言模型推理设计的 ASIC，从设计到流片仅用 9 个月，推理成本降低约 50%，标志着 OpenAI 从纯模型公司转型为全栈 AI 基础设施提供商。

一、核心结论（先看这里）​

维度Jalapeño当前 GPU 方案优势
推理成本-50%基准✅ 成本减半
每瓦性能显著优于当前最先进加速器✅ 能效领先
设计周期9 个月~18 个月✅ 速度快 2x
定位推理 ASIC训练+推理 GPU专用优化
供货仅内部市场采购⚠️ 不对外销售

一句话总结：Jalapeño 是 OpenAI 全栈 AI 战略的关键一步，用自研芯片将推理成本降低 50%，同时开启"AI 辅助设计 AI 芯片"的新范式。

二、Jalapeño 是什么？​

2.1 基本信息​

项目内容
名称Jalapeño（哈拉贝诺辣椒）
类型专用集成电路（ASIC）
定位大型语言模型推理任务
发布时间2026-06-24
流片时间2025-09（推测，9 个月极速流片）
部署时间2026 年底（千兆瓦级数据中心）
合作方博通（Broadcom）、台积电（TSMC）、Celestica
制程TSMC 3nm
架构Systolic Array（脉动阵列）
HBM8 堆栈（推测 HBM3E 或 HBM4）

2.2 为什么叫"Jalapeño"？​

Jalapeño 是一种墨西哥辣椒，以"中等辣度、强烈风味"著称。OpenAI 以此命名，暗示这款芯片：

  • ✅ 辣度适中：不是最激进的架构（相比 Cerebras WSE），但足够有效
  • ✅ 风味强烈：在推理场景下有强烈的存在感（成本降低 50%）
  • ✅ 开胃前菜：这只是"多代路线图的第一步"（博通 CEO 陈福阳）

三、技术深度解析​

3.1 9 个月极速流片：AI 辅助设计芯片的新范式​

通常情况下，从零开始设计一块 ASIC 芯片需要 1.5 到 2 年。而 Jalapeño 从初始设计到制造流片仅用了 9 个月。

关键原因：深度软硬件协同开发

技术手段说明
AI 辅助架构探索OpenAI 用自家前沿模型（GPT-5.3-Codex-Spark）探索芯片架构设计空间
AI 功耗仿真用 AI 模型进行功耗仿真与优化
强化学习优化用 RL 优化芯片布局布线
博通硅实现能力博通提供业界顶尖的 ASIC 实现能力（网络芯片、交换芯片经验）

OpenAI 总裁 Greg Brockman 表示：

"我们利用服务于用户的前沿模型，来优化运行未来模型的基础设施。"

3.2 专为推理优化的架构​

与通用 GPU 不同，Jalapeño 是围绕 OpenAI 对 LLM 推理工作负载的深度理解从零构建的 ASIC：

架构特性说明
降低数据移动架构核心在于减少数据搬运（推理任务的主要瓶颈）
平衡计算-内存-网络资源分配针对推理优化，使实际利用率更接近理论峰值
结合高吞吐与低延迟目标是将当前领先加速器的吞吐能力与最快专用推理系统的低延迟结合起来
支持未来模型不仅支持现有模型（GPT-5、GPT-5.3），也适配未来新一代模型的推理需求

3.3 全栈平台：不只是芯片​

Jalapeño 是一个多代计算平台，而不仅仅是一颗芯片：

组件供应商说明
加速器芯片OpenAI 设计，台积电制造TSMC 3nm，8 堆栈 HBM
网络交换芯片博通 Tomahawk高速互联（与 NVIDIA NVLink 竞争）
电路板、机架、系统Celestica整机架解决方案
软件栈OpenAI深度适配 GPT、Codex、Agent 产品

部署目标：千兆瓦（Gigawatt）级数据中心

博通 CEO 陈福阳表示：

"Jalapeño 将于今年开始与微软和其他合作伙伴一起部署在千兆瓦级数据中心。"

四、性能与成本分析​

4.1 推理成本降低 50%​

虽然 OpenAI 官方新闻稿中针对 Jalapeño 带来的成本节约表述相当保守，仅透露其"每瓦性能大幅优于当前最先进水平"，未给出具体百分比。

但据彭博社报道，博通 CEO 陈福阳透露：

早期内部测试显示，相较于当前主流 AI GPU，Jalapeño 可实现约 50% 的推理成本节省。

对于 OpenAI 的意义：

项目当前（GPU 方案）Jalapeño 方案节省
每天 API 调用数亿次数亿次—
推理成本占比~60-70% 运营成本~30-35%-50%
年算力支出数十亿美元数亿美元节省数十亿美元

4.2 每瓦性能显著优于当前最先进水平​

OpenAI 公告指出：

"Jalapeño 工程样品已以目标频率和功耗成功运行 GPT-5.3-Codex-Spark 等复杂强化学习任务，早期测试显示每瓦性能显著优于当前最先进的 AI 加速器。"

对比对象：NVIDIA Blackwell（当前最先进的 AI 加速器）

指标JalapeñoNVIDIA Blackwell说明
每瓦性能显著优于基准OpenAI 官方表述
推理延迟媲美最快专用推理系统基准目标
吞吐量媲美当前领先加速器基准目标
TDP未公开（推测 400-700W）700-1000WJalapeño 可能更低

五、对 AI 芯片市场的影响​

5.1 "去英伟达化"加速​

Jalapeño 的发布是科技巨头集体挑战英伟达市场主导地位的又一注脚：

厂商自研芯片类型状态与 OpenAI 的关系
GoogleTPU v6e / Ironwood训练+推理✅ 已商用Google Cloud 供应 OpenAI
AmazonTrainium 3训练✅ 已发布AWS 供应 OpenAI
MicrosoftMaia 100训练+推理✅ 已发布OpenAI 独家合作伙伴
MetaMTIA训练+推理✅ 已发布—
AppleNeural Engine端侧推理✅ 已商用—
OpenAIJalapeño推理🚧 2026 年底部署自用 + 可能出售给第三方

5.2 OpenAI 并非要完全"抛弃"英伟达​

Brockman 坦言：

"我们根本无法足够快地获得算力。"

目前，OpenAI 同时在向英伟达、AWS、AMD 和 Cerebras 等多方采购芯片，Jalapeño 是对其爆炸性算力需求的结构性补充，而非替代。

5.3 可能出售给第三方​

博通 CEO 陈福阳特别强调：

"这只是一个'多代路线图的起点'，OpenAI 与博通的目标是共同建设千兆瓦（Gigawatt）级算力集群。"

这意味着，OpenAI 有可能将其硬件出售给第三方，前提是它能从博通和台积电获得足够的供货。

六、Jalapeño vs 其他自研芯片对比​

指标Jalapeño（OpenAI）TPU v6e（Google）Trainium 3（Amazon）Maia 100（Microsoft）
发布时间2026-06-2420242025 Q42023
类型推理 ASIC训练+推理 TPU训练 ASIC训练+推理
制程TSMC 3nmTSMC 4nmTSMC 5nm（推测）TSMC 5nm（推测）
是否对外销售❌ 仅内部（可能未来出售）✅ GCP✅ AWS❌ 仅内部
设计周期9 个月~18 个月~18 个月~18 个月
AI 辅助设计✅ 首款❌ 否❌ 否❌ 否
成本优势-50% 推理成本优化优化优化

关键差异：

  • ✅ Jalapeño 是首款由 AI 辅助设计的 AI 芯片
  • ✅ Jalapeño 设计周期仅 9 个月（行业平均 18 个月）
  • ⚠️ Jalapeño 不对外销售（至少目前如此）

七、未来路线图​

7.1 多代芯片平台​

Jalapeño 只是一个"多代路线图的起点"：

时间事件
2026 年底Jalapeño 初始部署（千兆瓦级数据中心）
2027 年Jalapeño v2（推测，架构优化）
2027-2028 年Jalapeño 训练版本（推测，挑战 TPU/Trainium）
2028 年及以后千兆瓦级算力集群全面建成

7.2 OpenAI 全栈 AI 基础设施战略​

层次OpenAI 自研外包/采购
模型✅ GPT-5、GPT-5.3、Codex—
芯片✅ Jalapeño（推理）NVIDIA GPU、AWS Trainium、AMD GPU
系统✅ 与 Celestica 合作微软 Azure 数据中心
网络✅ 博通 Tomahawk微软 Azure 网络
云平台❌ 无微软 Azure（独家合作伙伴）

八、行业反响与专家观点​

8.1 支持观点​

专家观点
博通 CEO 陈福阳"Jalapeño 只是一个多代路线图的起点，目标是共同建设千兆瓦级算力集群。"
OpenAI 总裁 Greg Brockman"我们利用服务于用户的前沿模型，来优化运行未来模型的基础设施。"
业内人士"Jalapeño 的发布是科技巨头集体挑战英伟达市场主导地位的又一注脚。"

8.2 质疑观点​

质疑点说明
不对外销售目前仅内部使用，第三方无法采购，对英伟达市场份额影响有限
软件生态OpenAI 需要自建软件栈，与 CUDA 生态竞争难度大
供货能力台积电产能有限，能否满足 OpenAI + 博通 + 其他客户的需求？
性能数据不透明OpenAI 未公布具体规格（算力、显存、带宽、TDP），难以客观评估

九、对开发者的意义​

9.1 如果 OpenAI 未来出售 Jalapeño 给开发者...​

场景当前（NVIDIA GPU）未来（Jalapeño）
推理成本基准-50%
推理延迟基准可能更低
软件栈CUDA + TensorRTOpenAI API（可能开源软件栈）
采购难度高（出口管制、供不应求）低（OpenAI 直接供应）

9.2 即使不出售，也值得关注​

  • ✅ 推理成本降低 50% 会倒逼英伟达、AMD、英特尔降低 GPU 价格
  • ✅ AI 辅助设计芯片的新范式会被行业快速复制
  • ✅ 9 个月流片周期会成为行业新基准

十、总结​

维度评价
技术创新⭐⭐⭐⭐⭐ 首款 AI 辅助设计的 AI 芯片，9 个月流片
成本优势⭐⭐⭐⭐⭐ 推理成本降低 50%，年节省数十亿美元
战略意义⭐⭐⭐⭐⭐ OpenAI 从纯模型公司转型为全栈 AI 基础设施提供商
市场影响⭐⭐⭐⭐ "去英伟达化"加速，科技巨头自研芯片阵营壮大
开放性⭐⭐ 目前仅内部使用，未来可能出售给第三方

最终建议：

  • 🇨🇳 中国市场：继续关注华为昇腾、寒武纪 MLU、摩尔线程 MTT（Jalapeño 不对中国出售）
  • 🌍 国际市场：关注 Jalapeño 是否未来对外销售，以及其对英伟达市场份额的影响
  • 💡 开发者：关注 OpenAI API 降价可能性（推理成本降低 50% 可能部分让利给开发者）

参考资料​

声明：本文部分规格为推测值，以 OpenAI 官方技术白皮书为准。OpenAI 将在未来数月内发布详细性能技术白皮书。

最后更新：2026-06-26