Vera CPU 智能体基准实测：10.8秒拉起千个沙盒，速度达 AMD EPYC 8倍
· 阅读需 4 分钟
快科技10月10日消息，AI 代码执行平台 Daytona 公布了最新一轮智能体 AI 基准测试结果：NVIDIA Vera 处理器在沙盒启动速度和任务吞吐量两项核心指标上，均明显优于采用 AMD EPYC "Zen 5" 架构的产品。对正处爆发期的 Agentic AI 行业而言，这是第一次有一组公开数据，把"多智能体场景下的 CPU 选型"这个新命题摆上了台面。
15 篇博文 含有标签「Benchmarks」
LLM training / inference performance benchmarks and comparisons
查看所有标签AMD创MLPerf推理纪录：512卡MI350实现575万tokens/秒，NVIDIA垄断首次实质性松动
· 阅读需 5 分钟
2026年9月16日，MLPerf Inference v6.1结果出炉：AMD以Instinct MI350系列在512卡规模创下575万tokens/秒的MLPerf纪录，而NVIDIA Vera Rubin NVL72也在本轮完成首秀。分析师称，这是NVIDIA在AI训练与推理领域历史性垄断的"实质性侵蚀"。
MLPerf v6.1：本轮关键结果
MLPerf Inference是业界最具公信力的AI推理基准测试，v6.1这一轮的格局变化堪称历史性：
| 提交方 | 系统 | 关键结果 |
|---|---|---|
| AMD | Instinct MI350系列，512卡 | 575万tokens/秒（5.75M tokens/sec）MLPerf纪录 |
| AMD合作方 | 多家系统厂商 | 结果与AMD平均差距在4%以内 |
| NVIDIA | Vera Rubin NVL72（首秀） | Qwen3-VL吞吐较GB300 NVL72最高提升3.7倍 |
| NVIDIA | Vera Rubin NVL72 | DeepSeek-R1吞吐较GB300 NVL72最高提升2.5倍 |
| NVIDIA | Vera Rubin NVL72，288卡 | 演示99%扩展效率 |
| Intel | 软件优化 | 以软件优化收获性能增益 |
AMD的512卡提交以575万tokens/秒创下MLPerf纪录，更值得注意的是，合作方的独立提交与AMD官方结果平均差距在4%以内——第三方可复现性意味着这个纪录不是实验室里的孤立数字。
NVIDIA的回应：Vera Rubin NVL72首秀
NVIDIA并未坐视。Vera Rubin NVL72在本轮MLPerf完成首秀，成绩同样亮眼：Qwen3-VL吞吐较上一代GB300 NVL72最高提升3.7倍，DeepSeek-R1最高提升2.5倍，288卡规模演示了99%的扩展效率。
这里存在一个口径差异需要读者注意：AMD刷新的是tokens/秒的绝对纪录（512卡），NVIDIA展示的是代际提升幅度（相对自家GB300）。两者并不矛盾，但说明竞争已从"单点性能"转向"规模效率与代际节奏"的全方位对垒。此外，Intel虽无新硬件登场，但证明了在成熟硬件上软件优化仍能压榨出可观的性能增益——软件栈的权重在推理竞争中持续上升。
MLPerf看什么：吞吐、延迟与规模效率
对于习惯只看 headlines 的读者，读MLPerf结果建议关注三个维度：
- 吞吐（Throughput）：单位时间token产出，反映系统在大批量服务场景的容量上限。AMD本次575万tokens/秒就是吞吐口径的纪录。
- 延迟（Latency）：单请求响应速度，决定交互式应用的用户体验。吞吐成绩往往在放宽延迟约束时更高，需对照延迟约束看吞吐。
- 规模效率（Scaling Efficiency）：从几十卡扩展到数百卡时性能保留多少。NVIDIA的288卡99%扩展效率正是这个口径——硬件再强，扩展效率低下就无法支撑真实的超大规模部署。
三者组合才能还原一个系统的真实战力：吞吐高说明"能扛量"，延迟低说明"反应快"，规模效率高说明"能放大"。
AMD的部署进展：纪录之外的商业验证
MLPerf成绩需要落地验证才有意义。AMD在2026年的部署进展已覆盖超算、国家级基础设施与商业训练：
- LUMI-AI超算（欧洲）：将由MI430X与第六代EPYC驱动，延续AMD在欧洲超算领域的影响力；
- HUMAIN（沙特）与Cisco等大型基础设施项目：MI355X系统参与其中，进入国家级AI基础设施采购清单；
- Zyphra的商业训练：8月19日，Zyphra用1536张MI300X从零预训练ZAYA1-8B模型，证明AMD平台不仅能推理，也能承担大规模预训练。
从超算到主权AI项目再到独立AI公司的预训练，AMD正在补齐"性能证明→商业信任"的最后一环。
机架级竞争下的benchmark口径变化
MLPerf v6.1还有一层容易被忽视的行业信号：benchmark口径正在变化。随着NVL72、Helios等机架级（rack-scale）系统成为竞争主战场，提交单位的颗粒度从"单卡/单机"演进到"整个机架"，互联、内存、网络全部被打包进成绩。
这带来两个影响：其一，比较口径更接近真实部署（用户买的就是整机架），成绩参考价值更高；其二，小玩家更难参与——机架级提交的门槛将绝大多数中小厂商挡在门外。未来MLPerf榜单可能进一步分化为"单节点榜"与"机架级/集群榜"两个层次。
国产芯片何时加入MLPerf提交
另一个值得国内读者思考的问题：何时能看到国产AI芯片的MLPerf正式提交？MLPerf的公信力来自开放提交与第三方可复现，国产芯片若要在国际市场建立性能信任，参与MLPerf是绕不开的一步。目前MLPerf v6.1榜单上尚未出现国产芯片的正式提交，国产芯片何时加入、以什么规模加入，将成为观察其国际化进程的重要风向标。
小结
MLPerf Inference v6.1是分水岭式的一轮：AMD以512卡MI350创下575万tokens/秒的MLPerf纪录、合作方结果差距在4%以内，Tom's Hardware口径的判断是NVIDIA在AI训练与推理领域的历史性垄断出现"实质性侵蚀"；NVIDIA则以Vera Rubin NVL72首秀回应——Qwen3-VL吞吐最高3.7倍、DeepSeek-R1最高2.5倍、288卡99%扩展效率。加上AMD在LUMI-AI超算、HUMAIN、Cisco与Zyphra等项目的落地，AI推理市场的竞争格局正在被实质性改写。对采购者而言，现在是重新评估"唯NVIDIA论"的时候了；对行业而言，benchmark口径的机架级演化与国产芯片的缺席，同样是下一阶段值得持续跟踪的主线。
Vera Rubin NVL72 MLPerf v6.1 首秀：Qwen3-VL 吞吐 3.7 倍于 GB300，CoreWeave 同日上线多机架集群
· 阅读需 5 分钟
9 月 16 日，MLCommons 公布 MLPerf Inference v6.1 Closed Division 结果，NVIDIA Vera Rubin NVL72 完成基准首秀。同一天，CoreWeave 宣布在自家云上上线多机架 Vera Rubin 集群——"新硬件首发即可租用"的节奏，正在把新一代算力从发布到可计费产出的周期压缩到季度级别。
1. 首秀成绩：3.7 倍与 2.5 倍
NVIDIA 以预览提交（entries 6.1-0106 / 6.1-0074）给出两代旗舰的同口径对比：
| 基准模型 | Vera Rubin NVL72 vs GB300 NVL72 | 软件栈 |
|---|---|---|
| Qwen3-VL-235B-A22B（235B 多模态 MoE） | 吞吐最高 3.7 倍（离线 / 服务器 / 交互三场景） | vLLM + NVIDIA Dynamo |
| DeepSeek-R1-671B（671B 推理模型） | 吞吐最高 2.5 倍 | TensorRT-LLM |
支撑数字的三项技术：
- NVFP4 精度：压缩模型权重、注意力张量与 KV Cache 的显存占用，等效批尺寸显著提升；
- 分离式服务（Disaggregated Serving）：prefill（算力密集）与 decode（带宽密集）拆到不同 GPU 池独立优化；
- 专家并行：MoE 专家层跨卡分布式路由，配合第六代 NVLink / NVLink Switch（NVIDIA 宣称包速率较现成以太网高 10 倍、时延低 3 倍）。
2. 同场亮点：扩展效率与软件红利
- GB300 四机架 288 卡 99% 扩展效率：DeepSeek-R1 离线场景下，从单机架 72 卡扩展到 4 机架 288 卡几乎无折损（entries 6.1-0073 / 6.1-0074）——机架级互联的扩展效率第一次在 288 卡规模上得到验证；
- 软件仍在释放红利：同一 GB300 硬件上，v6.1 软件优化较 v6.0 带来最高 1.6 倍 Qwen3-VL 提升；NVIDIA 还报告了 GPT-OSS-120B 与 DLRMv3 的提交后增益（未经 MLCommons 验证）；
- 19 家合作伙伴提交，其中 8 家采用多节点 Blackwell NVL72 配置（ASUS、Azure、Cisco、CoreWeave、Crusoe、Dell、Fujitsu、HPE、Lambda、Nebius、OCI、Supermicro 等）；Nebius 也提交了 Vera Rubin 预览成绩。
3. CoreWeave 同日上线：首发即可租用
CoreWeave 在 MLPerf 结果公布同日宣布其云上多机架 Vera Rubin NVL72 集群上线：
- Spectrum-X 网络将数百颗 Rubin GPU 组成单一横向扩展集群，每颗 GPU 配 2 颗 ConnectX-9 SuperNIC（1.6Tb/s 横向扩展带宽）；
- AI 对象存储 LOTA 将读取时延降低 8 倍；
- 运维侧：Valvey 软件定义液冷（NVIDIA 规格 45°C 液冷进液）、Racky 机架控制层与 Rack LifeCycle Controller 把整个 NVL72 机架当作单一可编程实体管理；
- 此前 7 月，CoreWeave 自测 Vera Rubin 对 GB200 NVL72 在 DeepSeek R1 上达到 10 倍 tokens/s/MW（公司口径，非 MLCommons 验证）。
4. 竞争侧写
- AMD + Crusoe：以 512 卡创下 575 万 tokens/秒的 MLPerf 历史最高聚合吞吐（AMD 本轮提交覆盖面最广）；
- SemiAnalysis AgentX 预览：Vera Rubin 在 agentic 负载上较 GB300 最高 30 倍（预览口径）；MLPerf Endpoints 基准 forthcoming，将把 agentic 推理纳入标准化测量；
- 待验证项：Vera Rubin 成绩为预览提交、尚待独立复现；NVFP4"几乎无损"未给出量化质量指标；每 token 成本与功耗的规模化对比数据均未公布。Google TPU v7 与 AMD MI455X UALoE72 的对标提交预计 2026 年内出现。
站内规格对照：Rubin R200（288GB / 22TB/s）、B300 Ultra（GB300 核心）。
5. 小结
- Vera Rubin NVL72 首秀：Qwen3-VL 3.7 倍、DeepSeek-R1 2.5 倍于 GB300 NVL72（预览口径）；
- GB300 四机架 288 卡 99% 扩展效率，机架级互联进入可用区间；
- CoreWeave 同日多机架上线——新一代算力从发布到可计费的周期进入季度级；
- 看什么：独立复现与正式（非预览）提交、TPU v7 / MI455X 对标结果、每 MW 实测 token 产能。
相关阅读
- Rubin R200 规格页 / B300 Ultra 规格页（本站）
- NVIDIA Vera Rubin 量产与液冷部署
- Hot Chips 2026 全记录：Rubin、MI455X、Crescent Island 同台
参考资料
- NVIDIA Blog：Vera Rubin NVL72 首度亮相 MLPerf Inference v6.1（2026-09-16）
- MLCommons：MLPerf Inference v6.1 Closed Division 结果（entries 6.1-0073 / 6.1-0074 / 6.1-0106）
- CoreWeave 投资者关系：多机架 Vera Rubin NVL72 上线公告（2026-09-16）
- AMD Blogs：MLPerf Inference v6.1 提交结果
本文基于 MLCommons 公开结果与厂商官方口径整理。Vera Rubin 成绩为预览提交，部分增益数据未经 MLCommons 验证，已逐项标注。
2026 H2 顶级 AI 芯片选型指南：从 H100 到 Rubin、MI400、TPU 8t、TPU 8i
· 阅读需 8 分钟
2026 H2 是 AI 算力市场最丰富的时代：NVIDIA Rubin R200、AMD MI400、Trainium 3、TPU 8t/8i、Ascend 920、Groq 3 LPX 全部就位。本文提供完整选型树，帮助你根据模型规模、训练/推理、延迟要求、预算、地区选择最合适的产品。
推理优化技术演进：PagedAttention / FlashAttention / Speculative Decoding 深度解析
· 阅读需 8 分钟
LLM 推理性能 = 算法 + 软件 + 硬件。硬件（H100、B300、Rubin）只决定了理论上限。实际推理性能可以通过算法优化提升 5-30 倍。本文深度解析 PagedAttention、FlashAttention、Speculative Decoding 三大推理优化技术。