11 篇博文 含有标签「Agentic AI」

GTC 柏林上，黄仁勋把大量篇幅给了智能体（Agent），并抛出一个值得记住的框架：模型只是智能体的第一要素——让 AI 真正完成任务，还需要编排外壳、沙箱、知识与工具。配套发布的 OpenShell 安全参考架构，被他自己称为「英伟达做过最重要的事情之一」。

一、智能体五要素​

这个框架的意图很清晰：把智能体从「模型 + 提示词」的松散组合，升级为有明确安全边界的工程体系。

二、OpenShell 是什么​

OpenShell 是一个安全参考架构（reference architecture），核心三件套：

1. 内核级沙箱：智能体生成的代码在硬件辅助隔离环境中执行
2. 最小权限：每个任务只授予完成它所必需的资源访问
3. 动态策略控制：权限随任务上下文动态调整，而非一次性静态配置

同场发布的还有机密计算（Confidential Computing）扩容——前沿模型开发者可以在全球基础设施上安全扩展。加上 cuDSS GA、Isaac 平台机器人扩展，GTC 柏林的企业级拼图相当完整。

三、对算力采购的隐性影响​

1. 安全栈进 RFP：智能体项目的算力招标里，「沙箱与权限体系」正在从加分项变成必选项——这会直接影响平台选择
2. CPU 与机密计算需求上升：沙箱、权限校验、任务隔离都是 CPU/内存密集型工作，呼应 Vera CPU 拿下 Modal 首单的逻辑
3. 主权 AI 的抓手：OpenShell + 开源 Nemotron + 本地 AI 工厂，构成「数据不出境跑智能体」的完整方案——这正是欧洲牌的技术底座

四、冷静的一面​

参考架构不是产品，OpenShell 的实际落地要看 OEM 与云厂商的采纳速度。智能体安全也远非单一架构能解决——但「把安全边界画进智能体定义里」这件事本身，比任何具体实现都重要。

延伸阅读：GTC 柏林综述 · AI 服务器 GPU/ASIC/CPU 三分天下

过去三年，AI 算力的叙事几乎是 GPU 的独角戏。2026 下半年，这张图变成了三角形：GPU 负责训练与通用推理，ASIC 接管固定的大规模推理，CPU 则因为 AI 代理的兴起重新回到关键路径上。

一、ASIC：从补充到主力​

四大云厂商的自研芯片成熟度已经拉开明显梯度：

IDC 预测推理市场 ASIC 份额从 2024 年的 15% 升至 2030 年的 80%。无论这个终局预测是否精确，方向已经清晰：工作负载固定、规模巨大、在意成本与能效的推理场景，正在系统性流向 ASIC。

二、CPU：AI 代理带来的意外变量​

这是 2026 下半年最容易被忽视的新变量。Meta 9 月推出个人 AI 代理 Muse——可以代用户寄信、订行程、填表单，且关掉 App 后长时任务仍在云端持续执行。AI 代理的推理需要 GPU，但任务编排、API 调用、数据查询与每个用户常驻的虚拟机，主要由 CPU 承担。用户越多、后台任务越多，CPU 需求越高。

需求信号已经出现：

• Intel CEO 表示其 CPU 产能只能满足约一半的 AI 相关需求
• Meta 计划部署数千万个 AWS Graviton 核心处理 AI 代理工作负载

三、竞争单位从芯片放大到机柜​

与三角分工同步发生的，是竞争粒度的变化：NVIDIA Vera Rubin、AMD Helios、华为 Atlas 950 超节点、Meta MTIA 400——竞争以整座机柜为单位展开。瓶颈随之扩散：从运算芯片延伸到内存、封装、互联、电源与散热。这也是 HBM4 三倍报价与先进封装紧缺的共同背景。

四、对采购决策的影响​

1. 不要用单一指标选型：训练看算力密度与互联，推理看每 Token 成本，代理编排看 CPU 与内存配置
2. ASIC 进入采购清单：2027 年起，非英伟达推理算力的供给盘子里自研 ASIC 将占可观份额，谈判筹码结构改变
3. 预算要留 CPU 项：智能体应用的成本模型里，CPU 与常驻虚拟机的开销不再是配角

延伸阅读：交互式对比工具 · TCO 计算器 · 超节点选型框架

2026 年 10 月 13 日，Intel 在 OCP 全球峰会上把代号 Crescent Island 的数据中心推理 GPU 正式定名为 GPU D 系列，行业拆解普遍称其型号为 D270。这是 Gaudi 3 之后 Intel 数据中心加速器的「换轨」之作——不再追 HBM 军备竞赛，改打内存容量与每美元 Token 成本。

官方规格落地​

此前半年，外界只知道 Crescent Island「350W、LPDDR5X、风冷 PCIe」。OCP 2026 与随后的技术说明补齐了关键数字：

Intel 的口径是：480GB 版本单卡可承载约 3,000 亿参数模型，8 卡整机可推理超万亿参数的开源权重模型。

规格取舍：刻意避战，不是被动落后​

把 D270 放进 2026 年 10 月的坐标系里，取舍一目了然：

• 带宽 1.5 TB/s 只有 Gaudi 3（约 3.7 TB/s）的 40%、Rubin R200（19.2 TB/s）的 8%
• 但 480GB 容量上限反超 Rubin R200（288GB）与 MI455X（432GB）
• 350W 风冷 PCIe 意味着可以直接插进存量风冷机房，不需要液冷改造

这不是「做不出 HBM 版本」，而是定价选择：D270 卖的不是峰值算力，是长上下文推理 decode 阶段的每美元 Token 数。LPDDR5X 的单位容量成本远低于 HBM4，用带宽换容量与成本，恰好匹配智能体 AI 场景中 KV Cache 容量优先的工作负载。

口径注意事项​

• 制程未官方披露。「Intel 18A」只是多家媒体基于与 Panther Lake 同源的推测，Intel 未确认
• 带宽曾有口径分歧。2026 年 10 月中旬前部分二手拆解给出过约 684 GB/s 的估算值（基于 160GB 参考卡的 640-bit 总线推算），官方口径 1.5 TB/s 对应 480GB 版本，采购评估时应以官方值为准并问清配置
• 量产时间未定。客户送样从 2026 下半年开始，「2027 年商用」是媒体推断，不是 Intel 承诺

对选型的影响​

D270 填补的是「L40S 之后、HBM 加速器之下」的空档：显存受限（48GB 级）的老 PCIe 卡跑不动长上下文，HBM 卡又太贵。对日均 Token 量大、模型在 300B 参数级以下、机房无液冷条件的企业推理场景，D270 的每美元 Token 口径值得等它正式定价后再评估——前提是 Intel 能兑现 2027 年的供货。

相关阅读​

• Intel GPU D 系列（Crescent Island）芯片卡片
• Intel Gaudi 3 芯片卡片
• NVIDIA L40S 芯片卡片

自研芯片竞赛在 2026 年 10 月迎来关键节点：微软于 10 月 12 日在圣何塞 OCP 全球峰会上正式发布 Azure Maia 300，并宣布 2027 年起以「数吉瓦级」规模部署。这是微软首次把自研芯片定位为「主要推理系统」，而非补充。

核心规格：官方口径全记录​

Maia 300 采用多芯粒（multi-chiplet）设计，这是 Maia 家族第一代拆分计算与 I/O 的产品：

需要注意口径：微软官方博客只给出了相对口径（系统算力 FLOPs 较 Maia 200 提升 36%、HBM 带宽 2.5 倍、容量 +33%），FP4 13.8 PFLOPS 与 FP8 6.9 PFLOPS 出自随发布公开的技术论文，并与官方相对口径自洽（Maia 200 的 10.1 PFLOPS FP4 乘以 1.36 约等于 13.8）。

机架架构：96 卡、三层延迟域、统一 fabric​

Maia 300 的机架设计与 NVIDIA 的 NVL72 走了两条路：

• 96 颗加速器分布在 24 个四卡托盘，取消独立主机托盘，机架功率与热资源统一管理
• 机架内全部电连接组成一个 pod；第二层用光互联最多连 128 个机架，组成 12,288 颗加速器的 superpod
• 统一 fabric：pod 内与跨机架使用相同通信语义，不再区分 scale-up 与 scale-out 两个域
• 微软宣称 96 卡完整配置下，机架级 Token 吞吐最高可达 Maia 200 的 7 倍

在负载定位上，Maia 300 明确面向长上下文推理、延迟敏感对话与多步骤智能体任务——GitHub Copilot 与 Microsoft Foundry 将在今年年底前接入。

部署节奏与供应链​

据路透社 10 月 13 日报道，微软计划2027 年部署超过 100 万颗 Maia 300。供应链口径显示，微软已在 2026 年 8 月与台积电锁定 30 万片以上代工产能，初期产量 30-40 万片、2027 年增至 120-150 万片（非微软官方数字）。

两个值得注意的背景：

1. 规格升级曾导致延期。原计划 3nm 配 HBM3e，后升级为 2nm 配 HBM4，量产时点从 2026 Q1 推迟到 Q4，微软靠提高 Maia 200 产量弥补缺口。
2. Evercore ISI 预计 2027 Q1 Maia 占微软 AI 芯片支出约 10%——自研芯片仍然是「降本增量」而非「替代采购」。

对采购方的意义​

Maia 300 不对外销售，只服务微软自己的 AI 业务。它的信号意义大于直接采购意义：当全球第二大云厂商把主力推理负载迁到自研 ASIC 上，NVIDIA 在推理市场的定价权会持续承压。对企业采购方而言，更实际的影响是——推理型云实例（Azure ND 系列）的单位 Token 价格曲线，未来两年会因 Maia 上量而更有下探空间。

相关阅读​

• Microsoft Maia 300 芯片卡片
• Maia 200 芯片卡片
• GPU D 系列（Intel 的推理 ASIC 化路线）

聊天负载的调度问题，本质是「怎么把请求填满批」。到了 2026 年，智能体负载把这个问题的性质改变了：同一会话的连续请求共享长前缀，缓存复用率从聊天场景的 54% 到 62% 直接跃升到超过 80%。调度器如果还按过去那套逻辑做决策，会系统性地做错事。

智能体负载的三个反常之处​

先看生产轨迹给出的硬数字。据 Bailian 生产环境轨迹的分析，智能体服务的 KV 复用率超过 80%；另一份 PackServe 的生产轨迹显示，缓存 token 约占输入 token 的 80%，同时 decode 阶段占了请求总耗时的 78.4%。这两个数字组合起来意味着：绝大多数的注意力计算被跳过，而绝大多数的时间消耗在自回归解码上——优化目标已经不是 prefill 效率。

第二个反常是请求的触发方式。CacheWise 对真实编码助手轨迹的分析显示，工具完成触发的请求比用户输入触发的多出一个数量级以上。会话时长中位数约 36 分钟，长尾超过 2.6 小时。请求间隔由外部工具延迟决定，波动极大。

第三个反常是并发密度很低。PackServe 轨迹中，五分钟采样窗口内每实例运行并发在 0.39 到 1.69 之间，而平均 TPOT 仅小幅上升、远低于 SLO 目标。这意味着存在明显的延迟余量可用于请求打包，可以在满足 SLO 的前提下用更少的活跃 GPU 承载同样的需求。

缓存感知路由的过度优化​

问题的核心在于：现有调度器的问题不是「没有复用 KV」，而是「过度追求复用」。

SMetric 论文的表述是，缓存感知的调度器把每个请求路由到持有其缓存 KV 的实例，用负载均衡换复用率。后果是：第一，同一智能体框架的不同会话首轮请求共享相似的系统提示，都被路由到少数几个缓存了这些提示的实例；第二，由于后续请求基本都命中本会话早先轮次的 KV，会话就被钉在首轮落地的那个实例上。结果是少数实例吸收了整份会话并过载，其余集群闲置，而闲置实例的算力直接封顶了整体吞吐。

更关键的是，这种牺牲是不必要的。SMetric 提出了一个看起来违反直觉的方案：首轮请求纯按负载均衡调度，把会话摊到全集群；后续请求才走传统的缓存感知路由，优先本地级复用。

它能成立，靠的是两级 KV 存储这个前提——每实例 GPU 显存上的本地层，加上集群级 CPU 内存上的全局层。即使被调度到的实例本地没有这份 KV，它仍然能从全局层取回。只要全局层能及时供给，TPS 不受影响，代价只是 TTFT 小幅上升，而智能体负载恰恰对 TTFT 的容忍度更高。

这种分层架构本身也带来了新问题。Unison 论文（复旦大学，2026 年 9 月）指出一个被所有缓存策略忽视的盲区：智能体调用工具期间，GPU 完全空闲，但会话没有结束，工具返回后要从完整 KV 前缀恢复。按 DeepSeek V3 MLA 的结构估算，每 token 每层 576 个潜元素、共 61 层、bf16 存储，约 68.6 KiB 每 token；一个 10 万上下文的会话约 7.03 GB，一百个停在工具等待中的智能体就是约 703 GB 的纯 KV 驻留——约等于九张 80GB 级 GPU，而这些会话不产生任何输出、不消耗任何注意力计算。

LRU 和 TTL 在这个状态上都会失效，而且是结构性失效。LRU 按最后访问排序，工具等待的智能体看起来比两秒前还在对话的用户更旧。TTL 同样会把慢工具的会话在返回前淘汰掉。Unison 的判断是：区分「等待工具、即将返回」和「会话已结束」所需的信息存在于作业结构里，而不在访问日志里，因此没有任何 recency 或 idle 阈值能解决问题。

工程上的四个可操作结论​

准入控制是一切的前提。一台推理服务器不应该因为收到 HTTP 请求就接受它。被接受的工作消耗 KV、增加排队延迟、可能触发抢占、可能伤害其他租户。准入需要看的量是：未缓存的 prompt token 数、当前 KV 压力、空闲块水位、租户 token 预算与 KV 预算、排队截止期、期望输出长度区间、缓存命中概率。输出长度本身未知，控制器需要为运行中序列的增长留出余量——留多了浪费算力，留少了产生抢占抖动。频繁抢占本身就是策略已经病了的信号。

路由。看热的那个副本不一定是对的。最热的副本有最好的前缀命中，但队列可能已经很高、流式延迟接近上限；缓存命中省下的 prefill，可能被排队时间吃掉。实用的做法是联合打分：前缀重叠度、队列延迟、空闲 KV 块数、活跃 KV token 数、租户压力、副本健康度。

驱逐。CacheWise 的做法值得注意：不按 recency，而是用工具元数据（工具类型、参数）训练一个轻量预测器，估算每个会话的下一次重用时间，工具耗时最长的会话最先被驱逐。它在 vLLM 上实现，把 KV 驱逐降低 2 到 2.6 倍，会话总完成时间改善约 3.5 倍，token goodput 翻倍。

公平性。请求速率层面的公平在这里不管用——一个租户用少量超大请求就能压垮引擎，另一个租户发海量小请求却占用很少容量。公平应当基于加权的 token 服务量与 KV 占用，而不是请求数。智能体流量还需要扇出控制，因为一次用户操作可以产生大量模型调用。

架构层的两个选项​

解决智能体负载有两条路。一是分片调度：把 prefill 和 decode 拆到独立的 GPU 池，通过 KV 传输层搬移缓存。NVIDIA Dynamo 1.0 在 2026 年 3 月发布，其 Planner 在运行时决定聚合还是分离，KV Block Manager 提供 HBM 到 DRAM 到 SSD 到对象存储的四级层次；LLM-d 于 2026 年 3 月进入 CNCF 沙盒，贡献了把缓存感知路由变成 Kubernetes 一等公民的 Gateway API Inference Extension。二是简单得多的方案：KV 感知的副本路由，不拆池、不传 KV、不改拓扑。

需要诚实标注的是：Dynamo 公布的 30 倍吞吐是 DeepSeek-R1 671B 在 GB200 NVL72 机架上的复合结果，包含 NVLink 域内宽专家并行等多项因素；更接近纯分离收益的口径是 Llama 70B 在 3K/50 序列长度、普通 Hopper 上的约 2 倍。官方文档也明确指出，输入输出长度比在 2:1 到 10:1 之间时，聚合服务往往更好。

对大多数 4 到 16 卡规模的团队，先做缓存感知的数据并行副本通常比直接上分离池更划算。

展望​

2026 年的调度问题已经从「怎么批」变成「KV 放在哪里、谁能拿到它、什么时候该放弃它」。这带来的直接后果是硬件需求的重心变化：decode 阶段主导耗时、缓存驻留成为主要资源占用，意味着大 HBM 容量与高带宽的价值在推理集群中的权重继续上升，而推理专用芯片的竞争维度也从峰值 FLOPS 转向了 KV 密度与缓存层级的支持能力。

真正值得关注的方向是把「意图」显式传给调度层。Dynamo 1.0 已经开始接受每请求的优先级、期望输出长度和投机 prefill 提示。这个方向一旦成熟，调度器就不再需要从访问历史里猜测意图——而这正是今天所有缓存策略失效的根本原因。

聊天机器人时代，衡量算力的单位是 FLOPS 和 token/s。2026 年，随着企业 Agent 从"回答问题"转向"完成任务"，一种新的计量单位开始流行——沙盒/秒。基础设施的每个环节，正在被这种新工作负载重新定价。

Agent 工作负载的"三高"​

Agent 与传统推理的本质区别在于它不是一次请求、一次回答，而是一个持续数十步的执行循环：每一步都要启动工具、运行代码、读写环境、反思结果。这给基础设施带来"三高"压力。

第一，高并发沙盒。Agent 执行任务需要隔离的代码执行环境，Daytona 在 2026 年 10 月 10 日发布的智能体基准显示：在 8×EPYC 9755 服务器上，基于 Vera CPU 的方案 10.8 秒即可上线 1000 个沙盒，峰值达 13.3 任务/秒，扩展到 2000 沙盒耗时 27.4 秒——沙盒的创建延迟，正在成为 Agent 平台的核心 SLO。第二，高频短请求。一个任务循环里包含大量短小的模型调用（工具选择、结果解析、路由判断），这类请求的 prefill 远大于 decode，与聊天场景的负载曲线完全不同。第三，大 KV Cache。Agent 会话动辄数十万 token，NVIDIA RTX Spark 甚至把 100 万 token 上下文作为桌面级卖点，长会话的 KV Cache 成了显存的最大消耗者。

机构口径显示，AI 推理的 token 消耗已达人类用户直接使用量的约 5 倍——机器与机器之间的对话，正在取代人与人之间的对话，成为算力的主要买家。

算力计量单位的变迁​

这个变迁的深层含义是：采购决策从"买算力"变成"买任务完成能力"。Meta 的 Hatch 以每月 199.99 美元的价格出售自主 Agent（接入 DoorDash、Etsy、Reddit、Outlook），Google Cloud 的 Gemini 企业 Agent 强调"做工作而非答题"，OpenAI 的 Presence 企业 Agent 进入有限 GA——定价单位都是"订阅/任务"，倒推回基础设施层，就是沙盒密度与任务吞吐。

decode 阶段专用硬件的兴起​

Agent 循环里最伤延迟的不是 prefill，而是 decode——每一步的生成速度直接决定用户等待时间。NVIDIA 在 Vera Rubin 平台的七芯片堆栈里塞进了一颗非典型成员：Groq 3 LPX，定位是"专为智能体解码阶段设计的低延迟推理加速器"。这是 NVIDIA 第一次在旗舰平台里为 decode 单独配一颗 ASIC，与 Rubin GPU（管 prefill 和训练）形成分工。

逻辑不难理解：prefill 是算力受限，GPU 的 FLOPS 越多越好；decode 是带宽与延迟受限，堆 FLOPS 无济于事，需要的是针对逐 token 生成的访存优化。当 Agent 流量的 decode 占比持续上升，专用 decode 硬件就有了独立存在的经济学基础——正如当年推理从训练中拆分出来催生了推理 ASIC 一样，decode 正在从推理中再拆分出来。

上下文内存成为新基建​

Agent 的长会话必须能"暂停、保存、恢复"——用户中午发起的任务，Agent 下午继续执行时，几十万 token 的上下文不能重算。这催生了一层新基础设施：上下文内存。NVIDIA 把 BlueField-4 DPU 升级为推理上下文内存存储平台，宣称 token 吞吐最高提升 5 倍；华为同步发布 OceanStor M900 上下文内存存储集群，通过灵衢总线一跳直连，为昇腾超节点提供 PB 级 KV Cache，并把 SSD 读写寿命延长 16 倍。

Vera CPU 的高密度机架同样服务于这个趋势：单机架最大 256 颗 Vera CPU、支持同时运行超过 2.25 万个并发环境——CPU 不再只是 GPU 的陪衬，而是沙盒编排与上下文管理的专职引擎。

企业级门槛与采购建议​

Agent 进入企业还多了一层合规门槛：agent 身份（每个 Agent 是谁、权限多大）、操作日志（每一步做了什么）、回滚能力（出错如何撤销）。这些要求把"执行层"变成了强粘性资产——模型可以随时换，但嵌入业务流程的执行层一旦部署就很难被替换。这也解释了为什么企业 Agent 的竞争焦点从"回答质量"迅速转向"任务完成"。

给采购与架构师三条建议：第一，评估 Agent 平台时先看沙盒指标——创建延迟、并发密度、任务/秒，而不是 GPU 型号；第二，规划推理集群时预留上下文存储层，BlueField-4 类平台和 PB 级 KV 存储应当进采购清单；第三，关注 decode 专用硬件的落地节奏，LPX 这类组件可能重新划分推理服务器的内部配比。

小结​

Agentic AI 把算力经济学从"每 token 多少钱"推进到"每任务多少钱"：高并发沙盒要求 CPU 密度，高频短请求要求 decode 专用硬件（Groq 3 LPX 是第一个信号），大 KV Cache 要求 PB 级上下文内存基建。Daytona 基准里 10.8 秒上线 1000 沙盒的成绩单，预示着"沙盒/秒"将成为下一轮基础设施比拼的通用语言。谁能把执行层做深、把上下文存好、把 decode 做快，谁就握住了 Agent 时代的入口。

英伟达把 Grace Blackwell 塞进了两个机盒：一个小如 Mac mini，一个像立式工作站。DGX Spark 与 DGX Station 的共同卖点是"在桌面上完成原型，再无缝迁往数据中心"，但两者价格差一个数量级，适用人群并不重叠。

两台机器，两套定位​

DGX Spark 由 GB10 超级芯片驱动：一颗桌面优化的 Grace CPU（20 核 Arm）通过 NVLink-C2C 连接带第五代 Tensor Core 的 Blackwell GPU，128GB CPU 与 GPU 一致性共享的统一内存（LPDDR5X），FP4 算力最高 1 PFLOPS。DGX Station 则搭载 GB300 Desktop 超级芯片：72 核 Grace Neoverse V2 加 Blackwell Ultra GPU，FP4 算力 20 PFLOPS，784GB 一致性内存（288GB HBM3e 加 496GB LPDDR5X），并配 ConnectX-8 800G 网卡支持多机互联。

统一内存是两台机器共同的灵魂：CPU 与 GPU 共享同一块内存池，数据免拷贝。Spark 的 128GB 让 200B 参数模型（4-bit 量化）可以在桌面推理，微调上限约 70B；Station 的 784GB 意味着训练或推理过去需要一整个机架集群才能容纳的模型。另一侧是明确的短板：Spark 内存带宽约 273GB/s（据公开报道），远低于任何数据中心 GPU，decode 速度是它最常被诟病的地方。

谁该买 Spark，谁该买 Station​

DGX Spark 适合：个人研究者与学生——在本地跑通从微调到 Agent 部署的全流程；Agent 开发者——7x24 小时常驻的本地 Agent 运行环境，数据不出门；边缘与机器人开发者——Isaac、Metropolis、Holoscan 框架的原生开发平台；企业 POC 团队——用两台串联跑 405B 量化模型做概念验证，再迁往云端。它的正确预期是"开发与原型"，不是"生产服务"。

DGX Station 适合：需要桌面级保密的实验室——医疗、金融、国防场景下模型与数据全程本地；研究组——784GB 内存可在单机完成 70B 级全参数微调或更大模型的推理；Agent 集群测试——多台 Station 通过 800G ConnectX-8 组成小集群，模拟数据中心分布式行为。它填补的是"一台工作站装不下的模型，又不值得为此租机柜"的缝隙。

软件与迁移路径​

两台机器预装 DGX OS 与完整的 NVIDIA AI 软件栈，包括 NIM 微服务与预训练模型。工作流的正确姿势是：本地原型、验证并行策略与量化方案，然后近乎原样迁移到 DGX Cloud 或数据中心集群——因为从 GB10 到 GB300 共享同一套 Grace Blackwell 软件栈，CUDA 代码与容器不需要重写。这套"从桌面到 AI 工厂"的连续性，才是英伟达做桌面产品的真正意图：培养下一代的开发者，让他们从第一行代码起就活在 NVIDIA 的生态里。

小结​

DGX Spark 是一台"会写代码的 Mac mini"：3,999 美元买到 1 PFLOP 原型机，适合个人与 POC；DGX Station 是"桌面上的小型 AI 工厂"：20 PFLOPS 与 784GB 内存服务保密场景与研究组。共同的前提是想清楚带宽与互联的物理极限——桌面设备的使命是缩短从想法到验证的距离，而不是替代数据中心。

在 Vera Rubin 平台的"七芯片堆栈"中，第七颗芯片的来路最为特殊——它不是 NVIDIA 自研的 GPU 或 CPU，而是被收购的 Groq 3 LPX。这颗专为智能体解码阶段设计的低延迟推理加速器，以 256 颗 LPU、128GB 聚合 SRAM、40 PB/s 带宽的机架形态，与 Vera Rubin NVL72 并列部署。NVIDIA 宣称其在万亿参数模型场景下每兆瓦吞吐较 Blackwell 高 35 倍。一家以通用 GPU 垄断市场的公司，为何要为"非 GPU"在自家参考架构中留下正式位置？

收购时间线：从投资到全资整合​

根据站内 NVIDIA Groq 3 LPX 芯片卡，整合过程分四步走：

2026 年 8 月的 Hot Chips 2026 上，NVIDIA 以《Think Fast: LPU Accelerator for Heterogeneous Compute》为题首次将 LPU 纳入自家参考架构的正式叙事。这在 NVIDIA 历史上极为罕见——过去三十年，NVIDIA 的架构故事里从未给"非 GPU"留下过席位。

LPX 机架规格：SRAM 的极致堆料​

站内卡与 Hot Chips 披露的规格汇总如下：

最刺眼的是那组带宽对比：40 PB/s 的片上 SRAM 聚合带宽约为单颗 H100 HBM 带宽（3.35 TB/s）的 5,000 倍。LPU 完全放弃 HBM——模型权重经 Weight Streaming 灌入超大 SRAM，所有解码计算在纳秒级延迟的片上内存中完成。Hot Chips 实测数据显示，Gemma 4 31B 单用户吞吐达 3,431 token/s；运行 DeepSeek V3 级别的万亿参数模型约需 5 个机架。架构层面还有一个工程细节：FPGA 桥接同步域与异步域，投机解码只替换 draft token，保证确定性低延迟不被破坏。

为什么智能体负载需要 LPX​

Agentic AI 的负载特征与聊天机器人截然不同。一个智能体执行任务时动辄发起上百次模型调用——规划、工具选择、结果校验层层嵌套，且调用之间存在串行依赖，前一步的解码不结束，后一步的请求就不会发出。这意味着：

• decode 阶段是纯粹 memory-bound：每生成一个 token 都要完整读取一遍模型权重与 KV Cache，算力大量闲置，瓶颈在内存带宽与延迟；
• 延迟是体验与成本的双重货币：单次调用多花 100ms，乘以链式调用的次数就是秒级的体验劣化与集群吞吐的坍缩。

NVIDIA 官方数据给出了量化的答案：LPX 机架 TTFT（首 token 延迟）小于 20ms、TPOT（单 token 延迟）小于 5ms，而 H100 分别约 200ms 与 30ms。对于每秒上千次调用的智能体场景，这不是"更快一点"，而是"可用与不可用"的区别。

SRAM vs HBM：一场精确的架构取舍​

LPX 的 SRAM-only 路线并非全面超越，而是一次方向性取舍：

SRAM 容量小是硬伤——万亿参数模型必须靠 Weight Streaming 与多机架协同，5 个机架跑一个 DeepSeek V3 级模型的配置成本绝非小客户所能承受。但它换来了 HBM 永远给不了的确定性与带宽密度。这不是孰优孰劣的问题，而是两种负载物理特性驱动的必然分工。

异构分工新范式：GPU 管 prefill、LPU 管 decode​

LPX 与 Vera Rubin NVL72 并列部署（companion rack）的设计，确立了"训练用 GPU、prefill 用 GPU、decode 用 LPU"的异构分工范式：

1. 训练：Rubin GPU，吃算力与互联扩展性；
2. prefill（首 token 生成前的上下文处理）：Rubin GPU，并行度极高，吃算力；
3. decode（逐 token 生成）：LPX 机架，串行依赖、memory-bound，吃带宽与延迟。

这就是"每 token 经济学"推导出的结论：prefill 吃算力，decode 吃带宽，用不同架构分别解决，总成本更低。NVIDIA 借此完成了从"一颗 GPU 卖所有场景"到"全场景算力矩阵"的进化——训练、通用推理、极致低延迟推理，一个平台全覆盖。

独立 LPU 市场的终结与同源逻辑​

NVIDIA 买下 Groq，另一个层面的影响同样深远：独立 LPU 市场事实上终结了。曾经 Groq 是"推理专用芯片挑战 NVIDIA"的旗帜，如今旗帜归入了对方阵营。市场上仍坚持独立路线的推理架构玩家，呈现出耐人寻味的同源逻辑：

• d-Matrix：数字 SRAM 推理芯片，接受 NVIDIA 入股；
• Cerebras：晶圆级 SRAM（44GB 片上），与 OpenAI 签署 100 亿美元电力协议；
• LPX（Groq）：SRAM-only LPU，已被 NVIDIA 收编。

三者殊途同归——都判断"内存贴近计算、SRAM 替代 HBM"是推理场景的最优解。区别只在商业化路径：被收购、被投资、硬刚。当架构共识已经形成，竞争的焦点就从"方向对不对"转向"谁能耗到最终局"。

小结​

Groq 3 LPX 并入 Rubin 平台，标记了智能体推理基础设施的范式转折：decode 阶段被正式承认为一种独立的负载类型，需要独立的架构来解决。LPX 机架用 256 颗 LPU、128GB SRAM、40 PB/s 带宽和 35 倍每兆瓦吞吐，把"最后一公里"的解码延迟压到了毫秒以下；而 companion rack 的部署形态则确立了 GPU 与 LPU 异构分工的新范式。对采购者，评估 AI 集群时需要开始区分 prefill 与 decode 的算力配置；对行业观察者，NVIDIA 吞下 Groq 之后，独立推理芯片阵营的每一步——d-Matrix 的选择、Cerebras 的坚持——都值得放在"SRAM 共识"的框架下重新审视。

过去二十年，基础设施的调用方一直是人或人写的程序。现在多了一类新调用方：AI Agent。它们通过 MCP（Model Context Protocol）等标准协议自动发现并调用工具与算力，请求模式与人类完全不同。这不只是协议新闻，而是运维模型的变迁。

MCP 为什么值得基础设施团队关注​

MCP 由 Anthropic 于 2024 年 11 月开源，基于 JSON-RPC 定义了 Agent 发现与调用外部能力的统一接口，核心原语包括可调用的工具、可读取的资源与提示模板。它的扩张速度在基础设施协议史上罕见：据公开数据，SDK 月下载量从发布之初的约 200 万增长到 2026 年 3 月的约 9700 万，仅用 16 个月；活跃公开服务器超过一万个；2025 年 12 月 Anthropic 将其捐赠给 Linux 基金会旗下的智能体 AI 基金会，OpenAI、Google、微软、AWS 等成为共建成员——协议已从厂商项目变成行业公共设施。

对基础设施团队，这意味着 Agent 调用正在成为新的主流流量：一个采购 Agent 会连续调用检索、数据库与推理服务，一个编码 Agent 会密集触发构建与部署工具。它们的请求模式是机器节奏——高频、突发、无耐心、重试激进。

运维要接住的三件事​

第一，容量与限流。Agent 的重试风暴会在下游已经过载时雪上加霜，限流必须放在 Agent 身份维度而不是 IP 维度；对推理 API 的调用要支持任务级预算上限，防止一个失控循环把算力预算烧穿。第二，可观测性。Agent 的调用是长链条，需要把任务 ID 贯穿到每次工具与模型调用，才能回答"这次任务花了多少钱、慢在哪一跳"。第三，安全。协议生态已经出过真实事故：2025 年 9 月，一个每周下载约 1500 次的第三方 MCP 服务器被发现被植入恶意代码，把所有外发邮件密送给攻击者；据公开统计，2025 年围绕 MCP 生态披露的安全漏洞超过 14 个。提示注入、过度授权与仿冒服务器是当前三大威胁向量，企业侧应审计服务器来源、最小化工具权限，并优先使用支持 OAuth 2.1 与会话级授权的新版规范。

从协议到算力调度​

再往远看一步：当 Agent 成为一等调用方，"算力即服务"的界面也在变化。Agent 不关心你后面是 H100 还是国产推理卡，它关心 SLA 与价格——这意味着推理平台需要暴露类似 MCP 工具描述那样的标准化能力清单（模型、延迟档位、单价），供 Agent 在线比价与调度。多模型路由、按 SLA 分层的推理池，会从人工配置变成 Agent 自动协商。

写在最后​

给基础设施团队三条建议：第一，现在就为 Agent 流量建立独立的身份、限流与计费维度，别等它混进人类流量里无法拆分；第二，接入 MCP 生态时把服务器来源审计与权限最小化当成上线门槛，协议标准化不等于安全标准化；第三，把推理服务的能力与价格接口标准化，准备好被 Agent "自动采购"。下一波流量的增长曲线，将由不会睡觉的调用方画出。

快科技10月10日消息，AI 代码执行平台 Daytona 公布了最新一轮智能体 AI 基准测试结果：NVIDIA Vera 处理器在沙盒启动速度和任务吞吐量两项核心指标上，均明显优于采用 AMD EPYC "Zen 5" 架构的产品。对正处爆发期的 Agentic AI 行业而言，这是第一次有一组公开数据，把"多智能体场景下的 CPU 选型"这个新命题摆上了台面。