跳到主要内容

15 篇博文 含有标签「Edge AI」

Edge AI computing and on-device inference

查看所有标签

AI-RAN 开战:英伟达拉着全球运营商把基站变成分布式 AI 算力节点

· 阅读需 4 分钟
Industry Research Team

当数据中心的算力竞赛进入稳态,下一个入口级的争夺发生在通信网络边缘。10 月 21 日,大西洋两岸几乎同时传出 AI-RAN 的实质性落地信号——这不是概念演示,而是商用网络上的第一次真实通话。

什么是 AI-RAN​

AI-RAN(AI 无线接入网)= 给基站及附近节点装上 AI 算力:一边传输信号,一边就近处理 AI 任务。基站从「信号转发器」升级为「边缘算力节点」,用同一套硬件同时赚通信和计算两份钱。

黄仁勋在 GTC 柏林给出的想象空间:未来电信运营商都将提供 AI 算力,电信基站有望发展为分布式 AI 网络。他特别指出基站是物理 AI 的天然载体——「它通过无线电波感知世界、进行推理、处理信息,再通过波束成形与世界互动」,感知方式与摄像头完全不同。

海外:英伟达的运营商联盟​

GTC 柏林 2026 上(2026-10-21)宣布的进展:

  • T-Mobile 完成全球首次商用网络 AI-RAN 通话——注意「商用网络」四个字,不再是实验室
  • 德国电信、英国电信、Elisa 宣布开展 AI-RAN 试点
  • 英伟达将加速计算技术扩展至通信网络,目标:贴近用户和企业的服务、改善无线体验、网络运维自动化

国内:深圳公司的 6G 算力基站​

同一天(2026-10-21),中国深圳:

  • 佳贤通信发布 AI 算力分布式基站、支持本地 AI Agent 部署的6G 一体化 AI-RAN 基站,以及将 6GHz 无线接入与边端 AI 算力融合的 6G 边端 AI 智能体
  • 通宇通讯与佳贤通信达成战略合作,围绕 AI-RAN、边缘算力和物理 AI 协同,拓展边缘智能基础设施及海外市场(通宇通讯 8 月公告拟以 3 亿元取得佳贤通信约 25% 股权)

一边是英伟达联合全球运营商把 CUDA 推进通信网络,另一边是中国通信产业链围绕基站、算力与 AI 应用做产业协同——双方都想卡住端侧算力的关键环节。

为什么运营商突然值钱了​

频谱 + 站址 + 供电,是运营商独占的三样边缘资产。AI 推理要低时延,就要把算力放得离用户近;放得近,就要有分布式站址;有站址,就要有电力和回传网络。这三样数据中心的「东数西算」逻辑解决不了,恰好运营商全都有。

对芯片厂商,这是继数据中心、终端之后的第三个战场:

  • 英伟达:把加速计算 + AI Aerial 软件栈打包进基站,CUDA 生态延伸到网络边缘
  • AMD:苏姿丰 7 月已表态「AI 下一阶段将覆盖前沿模型、智能体和物理 AI,AMD 也在推动 AI 从数据中心向边缘扩展」
  • 国产链:从基站设备到边端智能体全栈自研,绑定 6G 标准窗口期

冷思考:商业化仍在前夜​

  • 成本结构未验证:基站侧加算力意味着单站功耗与散热重构,等效每 Token 成本能否打过区域边缘数据中心,尚无公开测算
  • 商业模式未定:运营商卖算力是按小区、按卡、还是按 Token 计费?AI-RAN 的计费单元还没有共识
  • 标准窗口期:6G 标准仍在演进,今天的「6G 一体化 AI-RAN 基站」更多是卡位动作,量产节奏取决于标准冻结时间

数据来源与口径说明​

  • T-Mobile 全球首次商用网络 AI-RAN 通话、德电/BT/Elisa 试点、黄仁勋表态:英伟达 GTC 柏林 2026 公告(2026-10-21),界面新闻转述
  • 通宇通讯/佳贤通信合作与产品发布:界面新闻(2026-10-22);通宇通讯入股比例为其 8 月公告口径
  • AMD 边缘战略表态:苏姿丰 2026 年 7 月发布会,界面新闻回溯

GTC 柏林的物理 AI 棋局:Agile ONE SN 人形机器人与 Hyperion 自动驾驶平台

· 阅读需 3 分钟
Industry Research Team

大语言模型的算力叙事渐入「推理经济学」阶段,黄仁勋在 GTC 柏林把下一个故事讲得非常具体:物理 AI——让模型走进机器人身体和汽车里。这次不是概念,是参考机型与定点车型。

一、Agile ONE SN:人形机器人参考机​

  • 合作方:英伟达 × Agile Robots(思灵机器人)
  • 规格:31 个自由度,搭载英伟达计算平台与全套软件
  • 节奏:2027 年第一季度上市
  • 配套:Isaac 平台大扩展——新增参考人形机器人、数据集、运行时与机器人学习框架更新

「参考机」策略与当年 DGX 对 AI 的意义同构:给硬件生态一个标准靶子,让传感器、执行器、模型开发者在同一平台上收敛。GR00T(人形机器人基座模型)+ Isaac 仿真 + 参考硬件 = 机器人版的「模型-框架-算力」三件套。

二、Hyperion:自动驾驶平台拿下德系定点​

要素配置
传感器14 摄像头 + 9 雷达 + 3 激光雷达
计算双 GPU(Orin/Thor 代际)
定点Volvo、大众、JLR、奔驰下一代车型
RobotaxiBolt(与 Lucid)、Einride 等展示自动驾驶运营用例

德系全线定点是关键信号——自动驾驶平台的市场格局此前由英伟达/高通/Mobileye 三分,奔驰与大众商用车的加入意味着英伟达在高端智驾域控的份额继续固化。

三、物理 AI 的算力经济学​

  1. 训练在云、推理在端:世界模型(Cosmos 3.5)与机器人策略训练吃数据中心算力,车载/机载推理吃 Thor 级边缘芯片——「云-边-端」的算力分层在物理 AI 上最完整
  2. 仿真即训练场:Isaac/Omniverse 仿真管线的算力消耗常被低估——合成数据生成是介于训练与推理之间的第三种负载
  3. 单机价值量:一个人形机器人 ≈ 一台高性能边缘服务器的芯片价值量(计算 + 传感处理 + 互联),百万台级出货就是新的 GB 市场

四、国产对照​

国内人形机器人芯片(地平线、寒武纪行歌等)与车载智驾芯片(华为 MDC、地平线 J6)在单点算力上已可对标,但「参考机 + 仿真平台 + 基座模型」的三件套完整度仍是英伟达的结构性优势——这也是昇腾等玩家在机器人侧的下一个投入方向。

延伸阅读:GTC 柏林综述 · Jetson Thor 卡片 · GPU/ASIC/CPU 三分天下

RTX Spark:1 PFLOPS + 128GB 塞进笔记本,桌面 AI 工厂的价格锚点 $2,399

· 阅读需 2 分钟
Industry Research Team

GTC 柏林主题演讲的彩蛋环节:黄仁勋把上周发布的 RTX Spark 笔记本(1 PFLOPS 算力 + 128GB 内存,$2,399 起)与 2016 年他亲手送给 OpenAI 的 DGX-1 同台对比——两台机器同样 1 PFLOPS、128GB 内存,但 DGX-1 需要「两个人抬」,RTX Spark 可以单手拎起。

一、产品矩阵:桌面 AI 三件套​

产品系统定位
RTX SparkWindows PC个人智能体,$2,399 起
DGX SparkLinux开发者构建与扩展应用
DGX Station桌面工作站更大内存池的开发验证

「Bringing the Spark to Europe」是 GTC 柏林的专门议程——本地智能体(Local Agents)成为个人 AI 的下一个叙事:模型与数据不出本机,隐私与延迟同时解决。

二、1 PFLOPS 桌面算力意味着什么​

  • 能本地跑什么:70B 级开源模型量化推理、中小模型微调(QLoRA)、智能体仿真训练。黄仁勋现场演示了四只「Microduck」机器人鸭——在 RTX Spark 上创建、云端训练、仿真中学习技能
  • 对比 2016:DGX-1 当年售价约 $129,000。同算力下,桌面价格曲线十年下降约 50 倍,这正是 Jetson Thor 等边缘产品的逻辑在桌面端的延伸
  • 对云的边界:本地推理解决隐私与离线场景,但训练与超长上下文仍属云端——「桌面 + 云」混合工作流将成个人开发者默认形态

三、对开发者的实际影响​

  1. 智能体开发的「本地沙箱」:结合 OpenShell 安全架构的思路,本地硬件跑智能体 + 本地沙箱,是成本最低的安全实验环境
  2. 国产对标注意:桌面 AI 工作站赛道(128GB 统一内存 + P 级算力)目前国产阵营尚无同价位对标产品,这是一个尚未被国产厂商认真覆盖的细分
  3. 软件栈红利:RTX Spark 与 DGX Spark 共享 CUDA 生态——开发者在桌面写的代码可直接扩展到数据中心 GPU,这正是英伟达「全栈桶」的黏性所在

延伸阅读:GTC 柏林综述 · Jetson Thor 卡片 · 完整对比表

AI PC 与桌面超算选型:RTX Spark、Gorgon Halo、DGX Station、Mac 怎么选

· 阅读需 6 分钟
Industry Research Team

2026 年,"本地跑大模型"从极客玩具变成了正经生产力工具:128GB 统一内存进入万元级笔记本,192GB 桌面平台宣称能装下 300B 模型,748GB 的 DGX Station 把数据中心级算力搬上了办公桌。

一、按需求分档​

选型的第一步是诚实评估自己的需求档位:

  • 轻量本地推理:跑 7B–35B 量化模型做日常问答、写作辅助,16–32GB 内存即可,任何 Copilot+ PC 都够用。
  • 严肃 Agent 开发:本地跑 70B–120B 模型、多 Agent 并行调试、数据不出本机的隐私场景,需要 96GB 以上可分配显存。
  • 创作者:Stable Diffusion 出图、视频剪辑 + AI 加速、本地语音转写,看重 GPU 性能与软件适配。
  • 桌面训练超算:微调大模型、跑严肃的 Agent 集群实验,需要 TB 级统一内存与数据中心级带宽。

二、核心产品对比表​

产品芯片统一内存内存带宽AI 算力价格形态
NVIDIA RTX Spark20 核 Arm + 6,144 CUDA(Blackwell)128GB LPDDR5X300 GB/s1 PFLOPS(FP4 稀疏,官方口径)未公布(2026 秋上市)笔记本 / 紧凑桌面
AMD Gorgon Halo 平台(Ryzen AI Max Pro 495)16 核 Zen 5 + RDNA 3.5最高 192GB(VGM 可分配 160GB)约 272 GB/s未公布未公布旗舰 APU,Pro 495/490/485 三 SKU
AMD Ryzen AI Max+ 39516 核 Zen 5 + 40CU + NPU 50 TOPS128GB(96GB 可作 VRAM)256 GB/s合计 126 TOPS笔记本 $1,499–2,499笔记本 / 迷你主机
NVIDIA DGX SparkGB10 Grace Blackwell64GB(可用于模型约 56GB)273 GB/s—$4,999(2026-10-23 上市)桌面
NVIDIA DGX Station for WindowsGB300748GB(252GB HBM3e + 496GB LPDDR5X)7.1 TB/s(GPU)20 PFLOPS(FP4)未公布(2026 Q4)桌面超算
Apple MacBook Pro(M4 Max)16 核 CPU + 40 核 GPU128GB546 GB/s—随 Mac 配置笔记本

三、统一内存容量 vs 带宽:真实体验的差异​

统一内存架构下,容量和带宽管的是两件完全不同的事:

  • 容量决定"能不能跑"。70B 模型 4bit 量化约需 40GB+,这解释了为什么 96GB 可分配 VRAM 的 Ryzen AI Max+ 395 能完整装下 70B(Q4)而 48GB 的 M4 Pro 要靠 swap、实测只有约 2 tok/s;192GB 的 Gorgon Halo 平台宣称可本地运行 300B 模型,160GB VGM 单机离线跑 1000 亿参数级模型是 Pro 495 的核心卖点。
  • 带宽决定"跑多快"。Decode 阶段每个 token 都要把权重读一遍,带宽几乎线性决定生成速度。同样是 128GB:M4 Max 的 546 GB/s 对比 Ryzen AI Max+ 395 的 256 GB/s,LLM 生成速度差距可以直接从带宽比例预估——395 跑 70B Q4 实测约 5 tok/s,属于"能用但不快"的水平。
  • ** 两台 DGX Spark 可通过 ConnectX-7 直连把内存池化到 128GB,模型上限提升至 2000 亿参数级,双机跑 Qwen3.8 27B 较单台 128GB 系统峰值最高提升 70%**——这是"容量不够、机器来凑"的官方示范。

一句话经验:容量买"资格",带宽买"体验"。预算有限先保容量门槛,再在同级里挑带宽。

四、x86 vs Arm:兼容性权衡​

RTX Spark 与 Gorgon Halo 的对决,本质是 Arm 与 x86 两条路线的对决:

  • RTX Spark(Arm):优势在 CUDA——6,144 个 Blackwell CUDA 核心原生兼容整个 NVIDIA 软件栈,本地跑 PyTorch、vLLM、Ollama 零适配成本;代价是 Windows 生态绕不开微软 Prism 模拟层运行部分 x86 应用,功耗损失与兼容性问题依然存在。
  • Ryzen AI Max Pro 495(x86):原生 Windows + Linux 直接运行、无模拟层,这是 AMD 对标 RTX Spark 时反复强调的卖点;GPU 侧走 ROCm / DirectML / ONNX Runtime 路线,AI 软件生态成熟度不及 CUDA,llama.cpp、Vulkan 后端等社区方案补位。
  • Mac:原生生态最封闭也最省心,MLX 与 Core ML 体验完整,但 CUDA 专属工具链(多数研究代码、部分训练框架特性)无法使用。

选型建议:深度学习研究者和 CUDA 生态重度用户等 RTX Spark;Windows 企业环境、x86 软件依赖重的选 Gorgon Halo / Pro 495;全苹果生态的创作与轻推理用户留在 Mac。

五、价格与供货风险​

  • 内存涨价正在挤压这一档位:DGX Spark 128GB 创始版价格上调至 $6,950(官方归因于 AI 内存紧缺),而 64GB 版维持 $4,999。DRAM 价格处于 15 年新高,大内存配额紧张可能让 192GB 级产品首发溢价,刚需建议早锁货。
  • 首发参考价:微软 Surface Laptop Ultra $2,599 起(官方宣称 AI 任务速度达 Mac 的 2 倍、视频处理 6 倍);联想 YOGA Pro 15(RTX Spark)80W 功耗、约 1.75kg,天禧 AI 支持 35B 本地模型,参照价 16,999 元档。
  • DGX Station 等等再看:748GB 统一内存 + 20 PFLOPS FP4 的桌面超算 2026 Q4 上市,定价未公布——考虑到其 GB300 血统,预计不会便宜,但它可能是唯一能单机微调千亿级模型的桌面方案。

六、分人群推荐​

  • 轻量本地推理 / 学生:Ryzen AI Max+ 395 笔记本($1,499 起),96GB VRAM 的容量优势同价位无解。
  • 严肃 Agent 开发:DGX Spark $4,999 入门,双机池化到 128GB 覆盖 2000 亿参数级实验;CUDA 生态原生。
  • 创作者:Mac(M4 Max 带宽高、创作软件适配好)或等 RTX Spark(Adobe 全家桶 100% GPU 加速是 NVIDIA 官方合作项)。
  • 桌面训练超算 / 企业工作站:预算充足等 DGX Station for Windows;预算敏感选 Ryzen AI Max Pro 495(192GB)+ Linux,先把 100B 级推理与 LoRA 微调跑起来。

小结​

2026 年的 AI PC 市场第一次出现了完整的四档产品线:万元级 128GB 笔记本、$4,999 的 DGX Spark、192GB 的 x86 旗舰平台和 748GB 的桌面超算。选购逻辑可以浓缩为一句话:先用模型规模定容量门槛,再用体验预期挑带宽,然后按软件生态选 x86 / Arm / Mac 路线,最后在 DRAM 涨价周期里尽早锁定配额。各芯片的完整规格请查阅站内对应芯片卡页面与完整对比表。

AMD "Gorgon Halo" 来袭:Ryzen AI Max 400 系列发布,192GB统一内存撞上15年最高DRAM价格

· 阅读需 5 分钟
Industry Research Team

AMD 确认下一代移动端旗舰处理器 Ryzen AI Max 400 系列,代号 Gorgon Halo。这是继 Strix Halo 之后,AMD 在端侧 AI 算力赛道投下的又一枚重锤。然而,这次发布的时间点极其微妙——正值 DRAM 价格创下约15年新高之际,192GB 统一内存的豪华规格能否真正大规模供货,成为业界最大的悬念。

昇腾 310B:被忽视的边缘推理基石

· 阅读需 4 分钟
Industry Research Team

谈起华为昇腾,话题总是围绕 910B、910C 乃至最新的 950 系列在云端大模型训练上的鏖战。但在数千公里之外的路口摄像头、工厂质检台和安防盒子中,真正大规模部署的其实是另一颗芯片——昇腾 310B。它不跑大模型训练,却是国产边缘 AI 交付量最大的推理底座之一。

从 310 到 310B:一次务实的迭代​

昇腾 310 是 2018 年随达芬奇架构一同亮相的首代边缘推理芯片,昇腾 310B 则是它的全面升级版,约在 2025 年前后以新命名体系广泛铺货。它延续了达芬奇架构的双 AI Core 设计,集成 4 个 TAISHAN V200M 处理器核,支持 FP16 与 INT8 混合精度计算。制程方面官方并未大张旗鼓宣传,公开资料多记为 12nm 级工艺。

核心规格如下:

参数昇腾 310(初代)昇腾 310B
架构达芬奇达芬奇(升级版)
INT8 算力16 至 20 TOPS8 或 20 TOPS(两档可选)
FP16 算力8 TFLOPS4 或 10 TFLOPS(对应两档)
内存LPDDR4XLPDDR4X 8GB 或 12GB
内存带宽25.6 GB/s最高 51.2 GB/s
芯片功耗未公开约 8W(整机典型 21 至 25W)
视频编码H.264/H.265满配 20 路 1080P 30FPS

8 瓦功耗里的工程哲学​

昇腾 310B 的价值不在于峰值算力,而在于能效与工程完备度。芯片级功耗约 8W,意味着它可以塞进无风扇的枪机摄像头和巴掌大的边缘盒子,靠被动散热常年 7 乘 24 小时运行。芯片同时集成视频编解码引擎,满配可解码 40 路 1080P 视频,做到"解码、推理、编码回流"一条龙,这对安防视频结构化场景是刚需。

软件层面,它共享昇腾的 CANN 工具链与 AscendCL 运行时,与云端 910 系列同一套开发体系。开发者在 310B 上写的推理代码,未来迁到 Atlas 300I Duo 或 910 服务器上改动极小,这种"端边云同构"正是华为全栈路线的护城河。

落地形态:开发板、智能小站与模块​

昇腾 310B 的典型载体有三类:其一是香橙派等厂商推出的 AI 开发板,20 TOPS 档的版本已成为高校和中小企业接触昇腾生态的最低门槛;其二是 Atlas 200 系列模组与 Atlas 500 智能小站,面向安防、工业质检的量产部署;其三是各板卡厂商的核心板与整机方案,支持 PCIe 3.0、多路 MIPI 摄像头接口,适配无人机、机器人等移动场景。

据公开报道,围绕 310B 的整机方案已覆盖智能安防、智慧交通、工业检测、无人零售等大量行业场景,配合模型压缩技术可在片上跑 YOLO 系列检测、OCR 与轻量级语音模型。

小结:边缘推理不性感,但很重要​

云端大模型是聚光灯下的战场,而边缘推理是颗粒度最细、出货量最大的市场。昇腾 310B 没有惊艳的参数,却以低功耗、完整工具链和端边云一致的软件生态,成为国产边缘 AI 难以绕开的基石。对于需要大规模视频分析、低成本私有化部署的团队,它值得放进选型清单的第一梯队;对于想学习昇腾生态的开发者,一块 310B 开发板也是最便宜的入场券。

桌面 AI 实验室:DGX Spark 与 DGX Station 的使用场景拆解

· 阅读需 4 分钟
Industry Research Team

英伟达把 Grace Blackwell 塞进了两个机盒:一个小如 Mac mini,一个像立式工作站。DGX Spark 与 DGX Station 的共同卖点是"在桌面上完成原型,再无缝迁往数据中心",但两者价格差一个数量级,适用人群并不重叠。

两台机器,两套定位​

DGX Spark 由 GB10 超级芯片驱动:一颗桌面优化的 Grace CPU(20 核 Arm)通过 NVLink-C2C 连接带第五代 Tensor Core 的 Blackwell GPU,128GB CPU 与 GPU 一致性共享的统一内存(LPDDR5X),FP4 算力最高 1 PFLOPS。DGX Station 则搭载 GB300 Desktop 超级芯片:72 核 Grace Neoverse V2 加 Blackwell Ultra GPU,FP4 算力 20 PFLOPS,784GB 一致性内存(288GB HBM3e 加 496GB LPDDR5X),并配 ConnectX-8 800G 网卡支持多机互联。

规格DGX SparkDGX Station
芯片GB10(Grace + Blackwell)GB300 Desktop(Grace + Blackwell Ultra)
CPU20 核 Arm Grace72 核 Grace Neoverse V2
统一内存128GB LPDDR5X784GB(288GB HBM3e + 496GB LPDDR5X)
FP4 算力1 PFLOPS20 PFLOPS
互联ConnectX(双机串联)ConnectX-8,800Gb/s
存储1TB 至 4TB NVMe高容量 NVMe
参考价格据公开报道 2,999 至 3,999 美元未公布(定位高出数倍)

统一内存是两台机器共同的灵魂:CPU 与 GPU 共享同一块内存池,数据免拷贝。Spark 的 128GB 让 200B 参数模型(4-bit 量化)可以在桌面推理,微调上限约 70B;Station 的 784GB 意味着训练或推理过去需要一整个机架集群才能容纳的模型。另一侧是明确的短板:Spark 内存带宽约 273GB/s(据公开报道),远低于任何数据中心 GPU,decode 速度是它最常被诟病的地方。

谁该买 Spark,谁该买 Station​

DGX Spark 适合:个人研究者与学生——在本地跑通从微调到 Agent 部署的全流程;Agent 开发者——7x24 小时常驻的本地 Agent 运行环境,数据不出门;边缘与机器人开发者——Isaac、Metropolis、Holoscan 框架的原生开发平台;企业 POC 团队——用两台串联跑 405B 量化模型做概念验证,再迁往云端。它的正确预期是"开发与原型",不是"生产服务"。

DGX Station 适合:需要桌面级保密的实验室——医疗、金融、国防场景下模型与数据全程本地;研究组——784GB 内存可在单机完成 70B 级全参数微调或更大模型的推理;Agent 集群测试——多台 Station 通过 800G ConnectX-8 组成小集群,模拟数据中心分布式行为。它填补的是"一台工作站装不下的模型,又不值得为此租机柜"的缝隙。

场景SparkStation
学习 AI 开发、跑开源模型适合过剩
200B 量化推理适合(速度受限)从容
70B 微调上限所在轻松
本地常驻 Agent适合适合
多机分布式实验双机串联上限800G 组网

软件与迁移路径​

两台机器预装 DGX OS 与完整的 NVIDIA AI 软件栈,包括 NIM 微服务与预训练模型。工作流的正确姿势是:本地原型、验证并行策略与量化方案,然后近乎原样迁移到 DGX Cloud 或数据中心集群——因为从 GB10 到 GB300 共享同一套 Grace Blackwell 软件栈,CUDA 代码与容器不需要重写。这套"从桌面到 AI 工厂"的连续性,才是英伟达做桌面产品的真正意图:培养下一代的开发者,让他们从第一行代码起就活在 NVIDIA 的生态里。

小结​

DGX Spark 是一台"会写代码的 Mac mini":3,999 美元买到 1 PFLOP 原型机,适合个人与 POC;DGX Station 是"桌面上的小型 AI 工厂":20 PFLOPS 与 784GB 内存服务保密场景与研究组。共同的前提是想清楚带宽与互联的物理极限——桌面设备的使命是缩短从想法到验证的距离,而不是替代数据中心。

边缘 AI 盒子选型:从 NPU 小主机到工控级方案

· 阅读需 4 分钟
Industry Research Team

边缘 AI 的选型逻辑与数据中心完全相反:不看峰值算力,看瓦数、体积、温度与断电恢复。2026 年的边缘盒子市场已经足够成熟,从 15W 到 1000W 都有对应产品,关键是把场景需求映射到正确的梯队。

一、四个梯队的产品地图​

梯队一:NPU 微型机(100 至 500 美元)。 代表是 Jetson Orin Nano Super(约 249 至 499 美元,40 TOPS,7 至 15W)和各类 RK3588 方案(约 6 TOPS NPU,千元人民币以内)。适合跑 3B 以下量化模型、单路至四路视频结构化、轻量目标检测。Orin Nano 能在 4-bit 下运行 7B 模型(约 3.5GB 权重),但带宽所限生成速度仅够"能用"而非"流畅"。

梯队二:性能边缘主机(600 至 2,000 美元)。 Jetson Orin NX(100 TOPS,16GB,约 699 美元)与 AGX Orin(275 TOPS,64GB 统一内存,约 1,999 美元)。AGX Orin 的 64GB 统一内存是亮点:可以容纳 70B 模型的 4-bit 权重加 32K 上下文的 KV cache,是"盒子跑大模型"的实用上限。

梯队三:桌面 GPU 小主机(2,000 至 5,000 美元)。 RTX 5090(32GB,约 900 TOPS INT8,约 2,000 美元)装入准系统,功耗 450W 起。适合需要 30B 级模型 FP16 推理或多路视频流的边缘机房、门店服务器机柜场景。

梯队四:国产工控级(1 万至 5 万元人民币)。 昇腾 Atlas 500 系列智能小站、Atlas 300I Duo 卡加工控机箱的组合,以及算能 BM1684X 方案(约 32 TOPS INT8,功耗典型 25W 左右)。国产方案在政企、电网、交通等有信创要求的场景几乎是默认选项。

场景关键约束推荐方案预算区间理由
零售门店客流分析静音、低功耗、断电恢复Orin Nano 或 RK3588 盒子1,000 至 4,000 元检测模型 4 TOPS 内即可,15W 长期运行
工厂单产线质检环境温度、防尘AGX Orin 或 Atlas 5001.5 万至 4 万元275 TOPS 余量与工业级宽温认证
园区多路视频结构化并发路数Atlas 500 加 300I Duo 或 5090 小主机2 万至 8 万元单盒承载 16 至 64 路视频流
车载与移动设备抗震、宽温、体积Orin NX 加定制外壳1 万至 2 万元35W 功耗与成熟供应链
离网大模型问答显存上限AGX Orin 64GB约 1.5 万元70B Q4 是盒子级上限
信创/政企部署国产化合规Atlas 系列、BM1684X1 万至 5 万元满足国产化验收要求

二、三个容易忽视的选型维度​

第一是功耗墙。 边缘部署常常没有机房条件,Orin Nano 15W 与 5090 主机 500W 是两个世界:后者需要独立空调甚至专线电路。选型前先确认部署点的供电上限,这往往比预算更早淘汰方案。

第二是软件栈锁定。 Jetson 绑 CUDA 生态、BM1684X 用自家 SDK、昇腾用 CANN。模型迁移成本远高于硬件差价——如果你的检测模型基于 PyTorch 加 TensorRT 训练管线,迁到非 NVIDIA 平台通常要 2 至 6 周的适配工作。新项目建议在立项时就锁定平台。

第三是远程运维能力。 边缘盒子散布在几十个网点后,OTA 升级、远程日志、异常重启是真正的运营成本。采购时确认厂商是否提供设备管理平台(NVIDIA 有 Allxon 等方案,昇腾有 Atlas 管理套件),自建运维队伍的隐性成本常被低估。

三、结尾建议​

边缘 AI 盒子的选型公式可以概括为:算力需求(TOPS)决定梯队,环境约束决定形态,合规要求决定品牌。 90% 的边缘视觉场景,一台 Orin Nano 或 RK3588 就够,别为"可能用得上的大模型"买 AGX Orin;真要跑大模型,先算清楚 70B Q4 加 KV cache 的显存账,再决定是盒子加量化还是退一步用边缘小服务器。采购前务必拿真实业务视频流做两周实测——边缘场景的光照、角度、遮挡差异,会让实验室里 99% 准确率的模型在现场跌到 85%,这个差距要靠数据回灌和模型迭代补,而不是靠换更贵的盒子。

边缘 AI 芯片全景:从 DGX Spark 到具身智能的算力下沉

· 阅读需 6 分钟
Industry Research Team

2026年10月,边缘 AI 迎来了标志性的一周:NVIDIA DGX Spark 正式发布、RTX Spark 笔记本预订开启、AMD Gorgon Halo 亮出 192GB 统一内存、微软与联想的新机同日开售。算力正在从数据中心向 PC、桌面和机器人急剧下沉。本文梳理边缘算力金字塔的完整版图。

边缘算力金字塔​

边缘 AI 不是一个市场,而是四层结构分明的金字塔:

层级典型芯片算力区间典型场景
手机 NPU骁龙/天玑/麒麟 NPU数十 TOPS拍照增强、语音助手、实时翻译
AI PCRTX Spark、Ryzen AI Max、Core Ultra 2100-1000+ TOPS(AI 总算力)本地大模型、创作 Copilot
桌面超算DGX Spark/Station、GB3001-20 PFLOPS FP4百亿至万亿参数本地推理
数据中心Rubin R200、MI455X、昇腾950EFLOPS 级前沿模型训练与超大规模推理

站内规格卡可以精确刻画中间两层。AI PC 层:NVIDIA RTX Spark 采用 Arm CPU + Blackwell GPU 统一内存架构,最多 20 核 Arm、6144 CUDA 核心、128GB LPDDR5X、带宽 300GB/s,AI 算力 1 PFLOPS FP4(稀疏,官方口径),可运行 1200 亿参数模型与 100 万 token 上下文;AMD Ryzen AI Max+ 395(Strix Halo)为 16 核 Zen 5 + 40 CU RDNA 3.5 + XDNA 2 NPU 50 TOPS,128GB UMA 中 96GB 可分配给 GPU,端侧可跑 70B 模型;Intel Core Ultra Series 2(Lunar Lake)NPU 4.0 达 48 TOPS,是全球首款满足 Copilot+ PC 标准的 x86 芯片。

桌面超算层:DGX Spark 64GB 售价 $4,999,2026 年 10 月 23 日起经宏碁、华硕、戴尔等 OEM 开售,单机可流畅运行千亿参数模型;两台 Spark 通过 ConnectX-7 直连后内存池化至 128GB,模型上限提升至 2000 亿参数级,双机集群实测较单台 128GB 系统峰值最高提升 70%。更上层的 DGX Station for Windows 搭载 GB300、748GB 统一内存(252GB HBM3e + 496GB LPDDR5X)、20 PFLOPS FP4,2026 Q4 上市,把桌面推到了接近数据中心的量级。

新机潮:一周之内的三家对决​

2026 年 10 月上旬,边缘 AI 设备密集落地。微软 Surface Laptop Ultra 定价 $2,599,官方口径 AI 性能达竞品 Mac 的 2 倍、视频场景 6 倍,10 月 16 日发货;联想 YOGA Pro 15 RTX Spark 同日开售,预装天禧 AI 35B 本地模型,已有 100 余款软件完成适配;NVIDIA RTX Spark 笔记本预订同步开启,首发 OEM 覆盖 Dell、HP、Lenovo、Asus、MSI 等 8 家厂商,形态包括 30 余款笔记本与约 10 款桌面。

AMD 的回应是 Gorgon Halo:Ryzen AI Max 400 系列(Pro 495/490/485)最高 192GB 统一内存,通过 VGM 可变显存最多将 160GB 划给 GPU,单机离线运行 1000 亿参数级大模型——按官方口径可支持 300B 级模型的本地量化部署。它的差异化卖点是原生 x86、无模拟层,避开 Arm 方案在 Windows 上的 Prism 转译开销。

本地大模型的隐私经济学​

边缘算力下沉的驱动力不只是性能,还有隐私与成本的双重账本。站内 Ryzen AI Max Pro 495 规格卡记录了一个典型案例:艾美奖获奖 VR 工作室 LightSail VR 在锐龙 AI Max 桌面机上搭建"制作协调员" AI Agent,同时管理 6-9 个制作项目,相当于过去 2 个人力的工作量;由于全部本地运行,云费用为零,同样的工作量放云端每月 token 费用要数千美元。

这笔账可以推广:当一台 $4,999 的 DGX Spark 或一台 Pro 495 工作站能够离线承载千亿参数模型,敏感数据(报税文件、医疗记录、未发布的设计稿)不再需要上传云端,企业同时获得隐私合规与可预测的成本结构。本地 Agent 的边际成本趋近于零,这是云 API 定价模型无法做到的。

具身智能:边缘算力的第二战场​

机器人是 2026 年边缘 AI 最陡峭的增长曲线。国内动态方面,江苏昆山张浦一次性发布 12 款具身智能产品,覆盖轮足巡检、重载作业等场景,具身智能正从展会样机走向批量交付。海外方面,通用机器人大脑公司 FieldAI 完成 7 亿美元融资,估值达 100 亿美元,资本对"机器人的 GPT 时刻"下注明显。

NVIDIA 自己也在用机器人造机器人:其西雅图机器人实验室以 Flexiv Rizon 4S 协作臂搭配 UR10e,配合视觉-语言-动作(VLA)管线,实现了 GB300 测试托盘装配的自动化,官方口径成功率 95%。这个案例的意义在于示范了完整的机器人技能习得闭环——感知、决策、执行全部在端侧算力上运行。

具身智能对边缘芯片提出了 AI PC 完全不同的需求:低时延控制回路(毫秒级)、多模态感知融合、以及抗震动宽温的工业可靠性。这将是未来 2-3 年边缘芯片的第二增长极。

边缘-云协同架构​

金字塔的各层不是替代关系,而是协同关系。当前主流的分工模式是:云端完成模型训练与大规模推理(Rubin R200、MI455X 的主场),桌面超算承担本地 Agent 的常驻推理(DGX Spark/Station),AI PC 处理隐私敏感的个性化任务(RTX Spark、Ryzen AI Max),手机 NPU 兜底最高频的轻量推理。数据在层间按敏感度与时效性分流:原始数据尽量不出端,模型权重与更新从云端向下推送。

对开发者而言,这意味着一套模型需要在四层硬件上都有高效的运行时——从 CUDA 到 ROCm、从 ONNX 到各厂商 NPU SDK,跨平台部署能力正在取代单点性能成为边缘 AI 工程的核心竞争力。

小结​

2026 年 10 月的这波新品潮,标志着边缘 AI 完成了从"能跑 demo"到"能干活"的跨越:DGX Spark 把千亿美元参数级推理装进机顶盒大小的机身,Gorgon Halo 用 192GB 内存重新定义 AI PC 的上限,具身智能则把边缘算力推向了物理世界。边缘算力金字塔的四层结构已经成型,接下来的竞争焦点将从单机性能转向边缘-云协同的系统能力——谁能把算力放到离数据最近的地方,谁就赢得下一代 AI 交互的入口。

工业视觉质检的算力选型:从 Jetson 到国产边缘卡

· 阅读需 5 分钟
Industry Research Team

工业质检场景的算力账很好算:一条产线的节拍是每分钟几十到几百件,检测窗口以百毫秒计,硬件必须 7 乘 24 小时在粉尘、油污、高温里稳定运行。这套约束下,"算力够用加皮实耐用"压倒一切性能指标。

一、负载分级:你的质检属于哪一档​

轻量级(单帧检测):缺陷分类、有无检测、二维码识别,YOLO 系列或 ResNet 级模型,单帧推理 10 至 50 毫秒,算力需求 10 至 40 TOPS。一颗 Orin Nano(40 TOPS)就能支撑单相机产线,国产对应方案是算能 BM1684X(约 32 TOPS INT8)与各类 RK3588 盒子。

中量级(多相机、分割与细粒度缺陷):表面缺陷分割、装配错漏检测,通常 4 至 8 路相机并发,需要 100 至 275 TOPS。Orin NX 加 AGX Orin 是主流选择;高路数场景直接上工控机插 RTX 4060 Ti 16GB 或 4090。

重量级(大模型质检):少样本缺陷检测、多模态质检(图像加工艺参数)、自然语言交互的质检报告生成,涉及 7B 至 30B 级 VLM。这类负载单帧推理超过 1 秒,通常部署在车间边缘服务器(双卡 4090 或单卡 A100)上,产线端只做采集与预筛。

产线场景节拍要求推荐方案单点预算理由
单相机缺陷分类每件 100 毫秒以上Orin Nano 或 BM1684X 盒子2,000 至 6,000 元40 TOPS 内即可,15 至 25W 低功耗
多相机装配检测每件 200 毫秒以上AGX Orin 或工控机加 4060 Ti1.5 万至 3 万元16GB 显存承载分割模型与多路流
高速产线全检每件 50 毫秒以内工控机加 RTX 40903 万至 5 万元高带宽保障单帧低延迟
车间级多产线汇聚汇聚 8 条线以上双卡 4090 边缘服务器或 Atlas 500 加 300I Duo6 万至 15 万元集中推理摊薄单线成本
信创/政企产线合规优先昇腾 Atlas 系列、BM1684X1 万至 5 万元满足国产化验收与宽温认证

二、三个阵营怎么选​

NVIDIA Jetson 阵营:生态最成熟。TensorRT 加 DeepStream 的工具链覆盖了从训练到多路视频流部署的全流程,社区案例海量,招人容易。代价是海外供应链风险——出口管制与价格波动是真实存在的采购变量,2026 年 Orin 系列在部分渠道出现过供货紧张。

国产边缘卡阵营:昇腾 Atlas 与算能方案在信创要求场景几乎是必选项。Atlas 300I Duo 单卡约 2 万至 4 万元,低功耗高密度适合机柜式部署;BM1684X 盒子在视频结构化场景性价比较高。主要成本在软件适配:模型要从 PyTorch 转换到各家工具链,部分自定义算子需要原厂支持,预留 2 至 6 周适配期。

桌面 GPU 阵营:4060 Ti 16GB、4090 加工控机箱的方案性能密度最高,适合部署在有人值守的机房或车间控制室。缺点是工业环境适应性弱(风扇散热、防尘要求高),需要额外做机柜防护,且功耗明显高于嵌入式方案。

三、别忽视的工程账​

第一,检测成本要摊到每件产品上算。 一条年检 500 万件的产线,3 万元的盒子三年摊销每件不到 0.3 分钱,加上电费与运维仍然可忽略——所以工业质检的选型矛盾从来不是硬件贵,而是误检与漏检的平衡:漏检成本是召回,误检成本是人工复检的人力。算力选型要为"多模型集成投票"这类提升精度的方案留出余量,而不是贴着最低 TOPS 选型。

第二,数据回灌通道比算力更重要。 现场光照、角度、来料批次变化会让模型性能衰减,边缘设备必须预留把疑似缺陷样本回传云端的能力。规划上建议"边缘推理加云端迭代":云端一张训练卡(4090 级即可)支撑月度模型更新,通过 OTA 下发。

第三,宽温与认证别省钱。 产线环境温度 0 至 45 摄氏度以上、粉尘、电磁干扰,消费级设备直接上架的故障率很高。工控级外壳、无风扇设计、宽温认证的溢价(通常多 30% 至 50%)是值得花的。

四、结尾建议​

工业视觉质检的选型公式:先定检测延迟与路数,再定梯队;先看合规要求,再定品牌。 单线轻量检测用盒子(Orin Nano 或 BM1684X),多线汇聚用工控机加桌面 GPU 或 Atlas 方案,大模型质检上边缘服务器。给传统制造企业的最后一条建议:第一个产线项目强烈建议与设备商或集成商合作落地,把算力选型交给做过同类场景的人——工业 AI 的失败案例里,八成不是算法不行,而是工程集成与现场运维没做好。