AI Compute Cards Wiki Editorial

华为昇腾与寒武纪之外，一批二线国产 AI 芯片厂商正在 2026 年集体进入收获期：上市潮、大厂订单与超节点产品同时落地，国产算力的第二梯队正在成形。

资本市场：从独角兽到上市公司的批量切换​

2026 年是国产 AI 芯片的上市大年。燧原科技的科创板 IPO 已过会并获注册批复，拟募资 60 亿元，公司自研迭代了四代架构、五款云端 AI 芯片；壁仞科技于 2026 年 1 月 2 日在港交所挂牌，开盘大涨 82%，市值一度突破千亿港元，成为港股 GPU 第一股；天数智芯也在 2026 年 1 月登陆港交所。据业界统计，摩尔线程、沐曦等厂商同样在冲刺科创板，"国产 GPU 四小龙"有望在资本市场聚齐。

厂商	资本进展	2026 年代表动作
燧原科技	科创板过会并获注册，拟募资 60 亿元	联合中兴发布云燧 ESL64-O 无线缆超节点
壁仞科技	港交所上市，市值一度破千亿港元	BR2xx 芯粒光互连千卡超节点，20 余款大模型当日适配
天数智芯	2026 年 1 月港交所上市	据媒体报道与字节跳动洽谈至少 5 万颗推理 GPU 采购
登临科技	据公开报道持续推进融资与商用	聚焦推理加速场景的规模化落地

产品与订单：超节点成为竞争主线​

2026 世界人工智能大会清晰地展示了行业竞争重心的迁移：从单芯片算力比拼转向芯片、高速互联与整机集群的系统级较量。壁仞科技推出基于芯粒架构 BR2xx 芯片的光互连千卡超节点，最多 1024 张 GPU 可共享同一内存空间；燧原科技联合中兴通讯发布的云燧 ESL64-O 超节点采用正交无背板设计，实现零线缆以大幅降低互联成本，其与腾讯云合作的"燎原"智算集群 3.0 已完成数千卡至万卡级部署。

订单侧的突破更具标志性意义。据多家媒体援引消息报道，字节跳动正与天数智芯洽谈采购至少 5 万颗智铠系列云端推理 GPU，若落地将成为继华为、寒武纪之后字节跳动的第三大国产 GPU 供应商；业界普遍认为，国产推理芯片定价约为英伟达同级产品的六到七成，成本优势叠加安全可靠测评的政策导向，正在推动互联网大厂从试点采购转向规模导入。登临科技等专注推理加速的厂商，也在互联网与行业客户中持续推进规模化商用。

生态与隐忧：窗口期不会永远敞开​

软件生态的比拼同样白热化。壁仞科技已对智谱 GLM、DeepSeek、通义千问等 20 余款头部大模型完成当日同步适配，其中 DeepSeek 全系列适配据称仅用数小时；2026 年 5 月，首批 9 款国产芯片获评国家最高安全可靠等级，壁仞、天数智芯等均榜上有名，信创需求的井喷进一步打开了市场空间。

但隐忧同样明确：先进制程产能受限于代工排期，交付能力决定谁能兑现政策红利；英伟达下一代架构随时可能随出口政策变化重返中国市场，国产芯片的时间差优势存在收窄风险。二线厂商能否从"能跑"走向"好用、稳定、规模供货"，仍是决定最终座次的关键。

小结​

2026 年的国产 AI 芯片第二梯队，第一次同时拥有了资本弹药、大厂订单与系统级产品能力。燧原、壁仞、天数智芯的上市潮解决了资金可持续性，超节点与大模型适配解决了生态可用性，剩下的问题——产能与长期竞争力——将在未来两年给出答案。

服务器 CPU 市场正在经历一次角色重定义：AMD 用 2nm 制程和 256 核密度继续扩大领先，Intel 被迫靠涨价在需求中求生，而 NVIDIA 自研 Vera CPU 则带着 AI 专用设计入场。AI 服务器里 CPU 不再是主角，但恰恰因此，它的选型逻辑被彻底改写。

AMD Venice：2nm 量产 + 256 核密度登顶​

AMD 第六代 EPYC "Venice"（Zen 6 架构，最高 256 核）已经在台积电 2nm 产线启动量产，这是行业首批进入 2nm 量产的处理器产品之一。更值得关注的是，量产正在从台积电延伸至 AMD 的亚利桑那工厂——先进制程的美国本土化，对政府采购和主权 AI 项目是重要的加分项。

项目	EPYC Venice（6th Gen）	说明
架构	Zen 6	新一代核心
最高核心数	256 核	服务器 CPU 密度新纪录
制程	TSMC 2nm，延伸至亚利桑那工厂	首批 2nm 量产处理器
角色定位	Helios 机架 CPU，配套 72×MI455X	AI 机架主机侧
下一代	"Verano"，已为 AI 工作负载预留设计	设计即前馈

Venice 还有两层战略价值：其一，它是 Helios 机架（72 颗 MI455X）的配套 CPU，AMD 的 GPU 机架方案因此获得了"自家 CPU+自家 GPU"的垂直整合能力；其二，下一代 "Verano" 已经为 AI 工作负载预留设计，说明 AMD 在产品定义阶段就开始为 AI 节点做优化，而不是拿通用服务器芯片顺手兼容。

Intel：年内三度涨价，份额仍在流失​

Intel 的处境则截然不同。10 月 5 日起，Intel 对 CPU 提价 10%——这是年内第三次涨价，驱动因素是 AI 需求带动的产能紧张。但涨价并没有止住份额流失：多家分析师在报告中持续给出卖出的建议口径，认为 Intel 服务器 CPU 的市场份额下滑尚未见底。

维度	AMD	Intel
制程	2nm 量产（Venice）	制程追赶中
核心数路线	256 核密度登顶	密度竞赛落后
价格策略	产品迭代驱动	年内三度涨价（累计幅度未公开）
服务器份额	持续提升	持续流失（分析师建议卖出口径）
价格支撑	机架级方案带动	AI 服务器配套 x86 需求托底

值得注意的悖论是：Intel 涨价的底气部分恰恰来自 AI——AI 服务器爆发也拉动了配套 x86 CPU 的需求，产能紧张让 Intel 敢于连续提价。但"涨价求生"的另一面是，客户在 AI 服务器 CPU 选型上的议价空间被压缩，这反而给了 AMD 和 NVIDIA 更多切入机会。

Vera 入场：AI 节点上的 CPU 重新定义​

NVIDIA 自研的 Vera CPU 是第三个变量。Daytona 基准测试给出了一个惊人的对比：Vera 跑千沙盒仅需 10.8 秒，而 AMD 旗舰 EPYC 9755 需要 88.4 秒——约 8 倍的差距。

对比项	NVIDIA Vera	AMD EPYC 9755
Daytona 千沙盒	10.8 秒	88.4 秒（约 8 倍耗时）
设计目标	专为 AI 节点设计	通用服务器负载
配套内存	Vera SCF + 1.5TB LPDDR5X	传统 DIMM 路线

Vera 的设计思路与通用服务器 CPU 完全不同：SCF 互联加 1.5TB LPDDR5X 的组合，是专为 AI 节点上"数据搬运 + 调度"的角色优化的。在 Grace/Vera 与 GPU 紧耦合的架构里，CPU 的传统性能指标（如 SPEC 系列）重要性下降，而内存带宽、与加速器的耦合效率成为新的评价维度。

分析：AI 服务器中 CPU 角色的重定义​

AI 服务器里，CPU 不再是算力的主角，而是被压缩到三个角色：主机侧调度（内核、虚拟化、作业分发）、数据搬运（存储/网络与 GPU 之间的通路）、以及配套生态（x86 软件兼容性）。这带来了三强格局下的不同打法：

• AMD 走密度路线：用 256 核 + 2nm 的硬件优势，同时服务传统虚拟化和 AI 机架主机侧，Venice 与 Helios 的绑定让"买 AMD GPU 就配 AMD CPU"成为默认选项；
• Intel 涨价求生：利用产能紧张和 x86 生态惯性提价保收入，份额换取现金流，等待下一代产品翻盘；
• NVIDIA 自研入场：Vera 不参与通用服务器竞争，只在 AI 节点上用专用设计建立垂直优势，Daytona 8 倍的差距就是其叙事武器。

对采购方的影响：三强博弈叠加产能紧张，意味着锁量窗口正在关闭。Intel 年内三度涨价已经发出信号——服务器 CPU 的价格曲线在 2026 年是向上的。有大批量采购计划的企业，应尽快与供应商锁定价格和交期；同时，AI 集群主机侧 CPU 的选型需要重新评估，传统"EPYC 对标 Xeon"的通用跑分逻辑，在 Vera 这类 AI 专用 CPU 出现后已不再充分。

小结​

服务器 CPU 市场的竞争维度正在迁移：从通用性能转向"AI 节点适配度"。AMD Venice 以 2nm + 256 核的量产优势延续密度路线，并借 Helios 机架实现 CPU/GPU 协同；Intel 连续三次涨价反映的是产能紧张下的议价权，而非竞争力回升；NVIDIA Vera 用 Daytona 基准 8 倍的成绩宣告 AI 专用 CPU 的独立赛道成立。对采购方而言，2026 年的关键词是"锁量"和"重估"——锁定涨价前的采购窗口，重估 AI 集群中主机侧芯片的技术选型标准。

当业务里有大量重复系统提示词、多轮对话历史或 RAG 共享文档时，vLLM 的 PagedAttention 只能做页级缓存，而 SGLang 的 RadixAttention 能把前缀 KV Cache 的复用率推到极高。这正是它被 DeepSeek 官方推荐的原因。

RadixAttention 到底省在哪​

传统推理框架里，每个请求都要为相同的前缀重复计算 KV Cache。SGLang 把已计算的 KV Cache 存进一棵基数树，新请求到来时先做前缀匹配，命中部分直接复用，只计算增量部分。社区实测数据显示：

场景	SGLang 缓存命中率	传统无前缀缓存方案
Few-shot 学习	85% 至 95%	接近 0
多轮对话	75% 至 90%	接近 0
RAG 共享文档	显著命中	接近 0

命中率直接转化为首 token 时延下降与吞吐提升。在重前缀负载的独立评测中，SGLang 相比 vLLM 有 29% 至 50% 的吞吐优势；而在单轮、无前缀共享的自由文本场景，两者差距很小，选型时要先看清自己的流量画像。

另外两个性能引擎​

零开销 CPU 调度器：传统调度是 CPU 准备批次、GPU 计算、再准备下一批的串行流程，GPU 在调度期间空转。SGLang 用流水线方式让 CPU 准备批次与 GPU 计算重叠，持续负载下 GPU 利用率可逼近满载。

结构化输出：Agent 应用要求模型严格输出合法 JSON。SGLang 把格式约束编译成有限状态机，每生成一个 token 都限制下一个可选 token 范围，从源头保证格式合法，避免了"生成后校验失败再重试"的浪费，底层通过 xgrammar 实现高速约束。

生产环境关键配置​

1. PD 分离：Prefill 是计算密集型，Decode 是访存密集型，两者资源画像冲突。SGLang 支持 Prefill/Decode 分离部署，通过 RDMA 高速网络连接，能显著降低每 token 平均生成时间并提升整体吞吐。DeepSeek 部署实践曾基于 96 张 H100 的 PD 分离加大规模专家并行，跑出接近官方报告的吞吐水平。
2. 显存与调度参数：结合业务上下文长度设置 max-total-tokens，避免 KV Cache 池过小导致频繁淘汰；高并发短输出场景可调大并行批处理窗口。
3. 硬件覆盖：SGLang 原生支持 NVIDIA、AMD、Intel Xeon、Google TPU 与昇腾 NPU，截至发稿社区数据显示其已在超过 40 万张 GPU 上运行，每天生成数万亿 token。
4. 版本管理：项目于 2025 年 3 月加入 PyTorch 生态，由 LMSYS 托管，迭代速度快、API 变动频繁，建议镜像锁版本，升级前跑回归。

实操建议​

上线前先统计业务的系统提示词与文档前缀重复度，重复度越高，SGLang 的相对收益越大。开启结构化输出时要给出精简的 JSON Schema，约束越细生成越快。如果团队已经在用 vLLM，可以按模型灰度切换并用同一套压测脚本对比 P99 时延与吞吐，用数据说话而不是跟风选型。

六年时间，旗舰 AI 芯片的热设计功耗从 700W 翻倍到 1400W，机柜功率密度即将迈向 1 兆瓦。风冷、冷板、浸没式三条散热路线，正在功耗曲线的陡坡上迎来各自的十字路口。

功耗曲线：六年翻两番​

据公开资料整理，旗舰数据中心 GPU 的 TDP 走过了一条陡峭的上行线：

代际	单卡 TDP	参考机柜	机柜功率
H100（Hopper）	700W	DGX H100	约 10kW
B200（Blackwell）	1000W 至 1200W	GB200 NVL72	约 120kW
B300（Blackwell Ultra）	最高 1400W	GB300 NVL72	约 170kW
Rubin R200	1800W 至 2300W	NVL144	约 300kW
Rubin Ultra	约 3600W 每封装	Kyber NVL576	600kW 以上

值得注意的是 B300 的双档设计：风冷版本把功耗压在 1100W，要吃满 1400W 的性能上限，必须上液冷。换句话说，液冷已不是"省电选项"，而是"解锁配置"——不做散热改造，等于花钱买了性能却用不出来。

散热技术的分水岭​

维谛技术等厂商的工程经验给出了大致分界：单机柜功率密度在 15kW 以内风冷可以满足，15 到 30kW 需要液冷辅助，超过 30kW 液冷成为刚需。GB200 及之后的机柜功率密度已远超这条红线，这也解释了为什么英伟达从 Blackwell Ultra 世代起全面转向液冷。

从能效看，据国信证券研报援引的英伟达与 Equinix 联合测试数据，冷板式液冷数据中心 PUE 可降至约 1.15，相比风冷的约 1.6，在相同负载下可节省约三成能耗；浸没式方案则能把 PUE 压到 1.05 以下。联想的温水水冷系统宣称全液冷覆盖后 PUE 低于 1.1，其相变浸没方案据称可低至 1.035。设备端，台达已推出 1.5MW 级集中式 CDU，单块 GPU 冷板冷却功率可达 6200W，用于支撑多个超 100kW 机柜连续运行。

十字路口的三重权衡​

对数据中心运营方而言，当前的散热决策实际上是三重权衡：

• 资本开支：冷板式改造相对渐进、可分批实施；浸没式前期投入高，但对超密机柜的长期承载更从容；
• 运维复杂度：冷板存在漏液风险与管路维护成本，浸没式则面临工作介质维护与器件兼容性验证；
• 面向未来：Kyber 机柜 600kW 起步且没有风冷版本，现在锁定纯风冷架构的机房，可能面临下一代硬件的"兼容悬崖"——机房还没折旧，散热就先过时了。

这三重权衡没有标准答案，但有一个共同前提：新规划的 AI 机房必须把液冷容量写进设计规范，而不是留作二期改造。

结语：功耗墙不会自己停下​

Rubin Ultra 之后，Feynman 世代的功耗只会更高，散热路线的选择正在从技术问题升级为资产问题。可以预判：冷板式液冷将在 2026 到 2028 年成为 AI 数据中心的绝对主流，浸没式在高密度新建场景逐步渗透，风冷则退守推理小集群与边缘场景。规划新机房时，"能否承接 600kW 机柜"应当与电力容量、网络架构并列，成为设计评审的第三个先决问题。

在 AI 芯片的舆论场里，云端训练卡占据九成话题，但真正以百万级数量铺进街道、园区、工厂和交通路口的，是另一类低功耗边缘芯片。算能科技的 BM1684X 就是其中的隐形冠军：它很少出现在发布会头条，却是安防集成商选型清单上的常客。

规格：把"够用"做到极致​

BM1684X 属于算能第四代自研 TPU（张量处理器），基于 Bernoulli 架构，采用台积电 12nm 工艺。它的高度集成是最大特色——一颗 SoC 同时集成 8 核 ARM Cortex-A53 处理器、TPU 计算单元与视频编解码引擎：

参数	BM1684（第三代）	BM1684X（第四代）
发布时间	2019 年	2022 年
INT8 算力	17.6 TOPS	32 TOPS（INT4 可达 64 TOPS）
FP16 算力	未公开	16 TFLOPS
FP32 算力	2.2 TFLOPS	2 TFLOPS
内存	12GB LPDDR4X	6 至 16GB LPDDR4/LPDDR4X
内存带宽	未公开	约 68.3 GB/s（16GB 配置）
整卡/整机功耗	约 16W	满载约 18 至 20W，被动无风扇
视频解码	32 路 1080P	32 路 1080P 25FPS（H.264/H.265）

为什么集成商爱它​

边缘 AI 的交付逻辑与云端完全不同：客户要的不是峰值算力，而是每瓦性能、每路视频成本和开发周期。BM1684X 在这三点上都有硬通货。

首先是视频能力。32 路 1080P 硬解码加上 AI 推理再编码回流的全流程能力，让一台巴掌大的盒子就能完成一个路口的人脸识别、车牌识别与视频结构化，无需额外服务器。其次是功耗与散热：满载不到 20 瓦、被动无风扇设计、支持宽温运行，意味着它可以装在户外机箱里常年免维护。第三是软件成熟度：SOPHON SDK 提供从模型编译到部署的一站式工具链，支持 PyTorch、TensorFlow、ONNX、PaddlePaddle 等主流框架一键转换，Docker 容器化部署让算法上线如同拷贝文件。

值得一提的是，随着开源小模型成熟，BM1684X 还解锁了新玩法：据公开报道，它已可本地运行 LLaMA2、Qwen、ChatGLM、Whisper 等轻量化模型，把边缘盒子从"视频分析器"升级为"本地小脑"。

形态与生态位​

BM1684X 的落地形态极为丰富：既可以是独立运行的边缘计算盒子（SoC 模式），也可以作为 PCIe 加速卡插入边缘服务器（PCIe 模式）。英码、天启等大量方案商基于它推出标准品与行业定制机，覆盖智能安防、智慧交通、智慧工地、智慧零售、工业质检等场景。在其之上，算能还有更低功耗的 BM1688（16 TOPS）承接成本敏感型需求，形成高配与低配的完整梯度。

从公司背景看，算能由比特大陆的 AI 芯片业务发展而来，继承了多年 TPUNB 自研架构积累；据公开报道，其边缘 AI 产品在国内安防市场占有重要份额，前代 BM1684 的累计出货已达相当规模。

小结：边缘市场没有新闻，只有交付​

BM1684X 的故事没有惊心动魄的转折，只有对真实需求的持续打磨：20 瓦功耗、32 路解码、成熟的 SDK、透明的价格。当行业目光都聚焦在云端大芯片的军备竞赛时，正是这类产品在支撑 AI 的最后一公里。对于需要大规模部署视频分析与边缘推理的团队，BM1684X 仍是当下验证最充分、生态最完善的国产选择之一。

2026 年，AI 数据中心的版图不再由网络枢纽和人口中心定义，而是由电力、主权意志和资本规模定义。从中东的 HUMAIN 到印度的 Helios，从马来西亚的 AI 云协议到东京郊外的离网电厂，一场围绕"算力主权"的全球圈地运动正在展开，而背后是超大规模厂商 6500 亿美元级别的资本开支洪流。

全球建设版图：一张不断刷新的清单​

仅最近一个月，全球 AI 基础设施的建设动态就足以拼出一张新地图：

项目	位置	规模/合作方	状态
HUMAIN 等	沙特	AMD MI355X 系统参与	推进中
Helios 架构输出	印度	AMD 与 TCS 合作	推进中
美国主权 AI 工厂超算	美国	AMD 助力	推进中
Bitdeer AI 云协议	马来西亚	67MW（Data Center Dynamics，2026-10）	已落地
离网 AI 数据中心	东京附近（日本）	戴尔 + Jera + Rhaelm，150 亿美元 / 400MW	预计 2028 运营
ThisWay Global 设施	德州 Bryan（美国）	73MW	选址确定
Anthropic 自建数据中心	德州 Cedar Creek（美国）	3.66 亿美元报建	报建阶段

这份清单覆盖了中东、南亚、东南亚、东亚、北美五个区域，参与者横跨芯片厂商（AMD）、云与服务器巨头（戴尔）、能源公司（Jera）、矿业转型算力公司（Bitdeer）和前沿实验室（Anthropic）——AI 基础设施已经没有"行业边界"可言。

三种主权 AI 模式​

把上面的项目归类，可以看到主权 AI 的三种典型模式：

模式一：美国盟友输出​

沙特 HUMAIN 项目采用 AMD MI355X 系统，印度由 AMD 与 TCS 将 Helios 架构本地化落地——这类项目的共同点是由美国芯片厂商输出算力架构，盟友国家提供资金、能源和市场。对美国而言，这既是出口收入，也是技术生态的扩张；对合作国而言，这是最快获得前沿算力的路径。

模式二：能源换算力​

沙特是"能源换算力"的教科书案例：用低成本能源吸引 AI 基础设施落地。日本东京郊外的项目把这一逻辑推到极致——戴尔、日本能源公司 Jera 与英国 Rhaelm 合作建设 150 亿美元、400MW 的离网 AI 数据中心，配套自建燃气发电厂，预计 2028 年运营。电力不再是电网提供的输入，而是项目自带的资产。

模式三：自研自强​

华为昇腾路线代表的是第三种模式：不受制于美国芯片供应，用自己的芯片、自己的框架构建全国算力底座。这条路门槛最高，但自主性最强。

资本开支洪流：6500 亿与 10 万亿​

主权 AI 圈地运动的燃料是超大规模厂商的资本开支。2026 年的口径已经清晰：

口径	金额	备注
四大超大规模厂商 2026 年 capex	约 6500 亿美元	Amazon 约 2200 亿美元领投
五家合计（另一口径）	超 6900 亿美元	口径差异源于统计范围
IEEE/行业长期建设需求	约 10 万亿美元	数据中心建设总盘子
Anthropic 单笔报建	3.66 亿美元	德州 Cedar Creek
东京离网项目	150 亿美元 / 400MW	预计 2028 运营

Amazon 一家 2026 年就计划投入约 2200 亿美元，超过很多国家一年的基建预算。而 IEEE 及行业口径给出的 10 万亿美元数据中心建设需求，说明这轮建设周期可能以十年计——这不是一个短周期投资潮，而是一场持久的基础设施重置。

离网自建电厂成为新常态​

东京 400MW 离网项目和 Oracle 用燃气卡车维持数据中心运转的新闻，指向同一个趋势：电网已经跟不上 AI 数据中心的用电增速。离网自建电厂从"备选项"变成"新常态"，原因有三：

1. 电网接入排队周期长：大型数据中心动辄数百兆瓦，接入电网的排队时间以年计；
2. 电力成本成为运营命门：Oracle 靠燃气卡车运电维持运转，说明即便是巨头也在为电力稳定性付出高昂代价；
3. 选址逻辑彻底改变：数据中心选址从"网络枢纽、靠近用户"变成"电力洼地、能源便宜"——德州 Bryan 的 ThisWay Global 73MW 设施、中东的能源换算力项目，都是这个逻辑的产物。

对芯片选型的影响也很直接：在电力受限的环境下，单位功耗的算力产出（性能/瓦）权重急剧上升，液冷、低精度推理（FP4/FP8）和 rack-scale 方案成为标配。

小结​

主权 AI 的全球圈地呈现三种模式并行：美国盟友输出（HUMAIN、印度 Helios）、能源换算力（沙特、东京离网项目）、自研自强（昇腾路线）。支撑这一切的是 6500 亿美元级的年度 capex 和 10 万亿美元级的长期建设需求。最深刻的结构性变化是选址逻辑：从网络枢纽转向电力洼地，离网自建电厂成为新常态，Anthropic 自建数据中心则说明前沿实验室也在绕开云厂商直接下场。对从业者而言，评估 AI 基础设施项目的第一问已经从"带宽够不够"变成了"电从哪来、多少一度"。

当超大规模客户纷纷自研芯片，英伟达的应对不是把门关得更紧，而是把门框卖给所有人。Spectrum-X 与 NVLink Fusion 组成了一套精巧的双层策略：计算可以不是我的，但你的芯片必须接在我的网络上。

Spectrum-X：把以太网改造成 AI 网络​

传统以太网为吞吐优化，AI 集群需要的是无损、低熵的集合通信。Spectrum-X 的组合拳包括自适应路由、基于遥测的拥塞控制、RDMA 与 SuperNIC 端侧包重排序，官方目标是达到至少 95% 的有效带宽——而传统以太网在大规模 AI 负载下往往只能用到一半出头。

Spectrum-X 家族组件	定位与关键能力
Spectrum-X 以太网交换机	Scale Out 主干，800G 端口，自适应路由
Spectrum-XGS	跨园区扩展：距离感知的拥塞控制与负载均衡
Spectrum-X Photonics	共封装光学（CPO）：激光器数量减少约 4 倍、光网络功耗降低约 5 倍
ConnectX-9 SuperNIC	端侧 800G 及以上，配合包重排序
BlueField-4 DPU	从网络卸载扩展到 KV Cache 上下文存储（CMX），官方称 token 吞吐最高提升 5 倍

采用信号很有说服力：Meta 正在扩展基于 Spectrum-X 的 AI 负载，Oracle 在 OCI 上为大规模 AI 网络标准化选择 Spectrum-X，Cisco 与英伟达共建安全 AI 工厂参考设计。共封装光学已进入量产，用光互联的功耗红利去换取更多可分配给计算的瓦数——在 AI 工厂的电费账本里，这是实打实的 token 收益。

NVLink Fusion：把 Scale Up 域开放给对手们​

NVLink Fusion 于 2025 年 5 月 COMPUTEX 发布，逻辑是：第三方芯片只要集成 NVLink Fusion chiplet 与 NVLink-C2C 接口，就能接入英伟达的纵向扩展域和 MGX 机柜架构，获得最高每 XPU 1.8TB/s（新一代架构达 3TB/s 以上）的全对全带宽，以及 72 加速器的扩展能力。

伙伴类型	代表厂商
定制 CPU/XPU	联发科、Marvell、富士通、高通、Intel、SiFive、三星
设计服务与 IP	Alchip、GUC、Cadence、Synopsys
互联与光子	Astera Labs、Ayar Labs、Lightmatter
云厂商自研芯片	AWS（Trainium4）、Meta
推理芯片新贵	d-Matrix（Raptor XPU，2026 年 9 月宣布接入）

这步棋的防御逻辑值得细读：即使超大规模客户的加速层走向异构——AWS 跑 Trainium4、Meta 跑自研推理芯片——英伟达依然通过 NVLink 交换芯片、机柜架构与网络栈捕获价值。反向看，UALink 阵营试图以开放标准做同样的事，NVLink Fusion 则用成熟度和生态深度先发截流。对定制芯片公司而言，好处是现实的：不必重造 scale-up 互联和机柜设计，就能拿到接近英伟达原生的系统级带宽。

两层策略合起来看​

Spectrum-X 管 Scale Out（机柜之间、数据中心之间），NVLink Fusion 管 Scale Up（机柜之内），BlueField 与 CMX 管存储与上下文，Mission Control 管运维——英伟达正在把"AI 工厂操作系统"的每一层都做成可出售的基座。计算层越开放，网络与软件层的护城河反而越深。

小结​

对采购者的启示有二：其一，评估英伟达方案时，网络栈（Spectrum-X、BlueField、光学）应当与 GPU 一起核算 TCO，它们已不是配件而是性能变量；其二，自研或采用第三方芯片的团队，NVLink Fusion 提供了一条免建互联的捷径，但要清醒地认识到，接入它的代价是深度绑定英伟达的系统生态。开放是真的，方向也是被设计好的。

之前我们讲过投机解码的概念：小模型起草稿、大模型来验证。但概念到生产之间隔着几个关键问题——接受率怎么算、草稿从哪来、为什么大 batch 场景收益会缩水。这篇往下挖一层。

草稿-验证框架：一次前向，验 K 个 token​

标准流程是：草稿模型根据当前上下文连续猜 K 个 token，目标模型把"原文加 K 个草稿 token"拼成一次前向——注意自回归模型天然支持一次并行计算多个位置的输出，所以验证 K 个 token 的耗时约等于生成一个 token。逐位比对：草稿猜对的保留，遇到第一个分歧位丢弃其后全部草稿，并采用目标模型在该位的输出。

对随机采样场景，接受与否用拒绝采样规则决定，可以严格证明最终输出分布与目标模型直接解码完全一致——这是投机解码最漂亮的性质：加速不以任何质量损失为代价。

收益取决于接受率 α：若每个草稿位被接受的概率都是 α，则每步目标模型前向平均产出约 1 加 α 加 α 的平方一直加到 α 的 K 次方个 token，随 K 增长趋于 1 除以 1 减 α。α 等于 0.7、K 等于 4 时约两倍加速；α 跌到 0.3，收益就趋近于零，草稿计算反而白费。

草稿从哪来：三条路线​

方案	草稿来源	公开接受率	典型加速	额外开销
独立草稿模型	同词表的小模型	六至八成	约 1.5 至 2.5 倍	需维护小模型
Medusa	目标模型上加多个预测头	六至七成	约 1.8 至 2.5 倍	需训练预测头
EAGLE-3	复用目标模型深层特征	七至八成	约两至四倍，部分报告更高	训练轻量草稿头
MTP	训练期原生多 token 预测	八成以上	据公开技术报告约 1.8 倍解码加速	需重训模型

独立草稿模型最直观，但要求草稿与目标共享分词器且风格对齐，体积以小为宜——太大则草稿自身耗时吃掉收益。Medusa 不引入独立模型，在目标模型上挂若干预测头并行猜测未来多个位置，部署简单。EAGLE 系列更进一步：直接把目标模型的中间层特征喂给一个轻量草稿头，配合树形注意力（每步验证多条候选分支）把接受率推高，2025 年发布的 EAGLE-3 据公开评测已成为通用模型上的标杆方案。

MTP 则把投机解码内化进训练目标：DeepSeek-V3 在预训练时就加入多 token 预测模块，推理时该模块天然充当草稿头。据其公开技术报告，MTP 带来约 1.8 倍的解码加速，接受率达八成以上——原生对齐是接受率最高的路线，代价是必须从训练侧介入。

什么场景反而变慢​

三类场景要谨慎：一是高温采样等高随机性输出，草稿与目标分歧大，接受率暴跌；二是超大 batch 服务，此时解码已接近算力受限，验证的并行红利被摊薄，甚至挤占正常请求的算力；三是草稿模型选得太大，草稿成本占比过高。经验法则是草稿比目标小一到两个数量级，且务必用自家流量实测接受率——公开基准的七成接受率在你的领域数据上可能只有三成多，收益随之天差地别。

小结​

投机解码是"用访存冗余换时延"的典型架构：单流解码卡在权重搬运上，验证多 token 几乎不额外耗时，这正是它能免费加速的物理原因。落地时先明确业务是延迟敏感还是吞吐敏感——前者优先开，后者要先压测 batch 干扰，再选对草稿路线，最后盯住接受率这个唯一的核心指标。

团队拿到第一笔融资，决定自建算力时，第一台 8 卡服务器往往是最容易踩坑的一次采购。本文按预算分档给出卡型建议，并列出初创团队最常见的四个坑。

一、先算账：一台 8 卡服务器到底多少钱​

按 2026 年的公开渠道报价，主流方案分三档。海外 OEM 的 8 卡 HGX H100 整机报价约 25 万至 32 万美元，折合人民币 180 万至 240 万元；国内渠道的 8 卡 H800 或 H100 服务器租赁报价约每月 6.8 万至 9.5 万元。国产侧，Atlas 800T A2（8 卡昇腾 910B）渠道报价区间很大，从约 75 万元到接近 200 万元都有成交案例，主要受供货紧张程度影响。消费级方案则便宜得多：8 卡 RTX 4090 整机约 25 万至 35 万元，8 卡 RTX 5090 约 40 万至 55 万元。

预算区间	推荐配置	参考总价	适合谁
30 万至 60 万	8 卡 4090 或 4 卡 5090	25 万至 55 万	微调 13B 以下模型、推理服务验证
80 万至 150 万	8 卡 A800 二手、或国产推理卡集群	60 万至 150 万	中等规模 SFT、稳定推理业务
180 万至 240 万	8 卡 H100 或 H200 HGX 整机	180 万至 240 万	70B 全参训练、严肃预训练启动
100 万至 200 万	Atlas 800T A2（8 卡 910B）	视渠道浮动	有国产化要求或拿不到进口卡的团队

二、卡型怎么选：显存优先于算力​

初创团队最常见的错误是"按 TFLOPS 买卡"。实际业务里，显存容量和带宽决定你能跑什么模型，算力只决定跑多快。4090 的 24GB 显存放不下 70B 模型的 FP16 权重，再便宜也没用；H100 的 80GB 和 H200 的 141GB 才是 70B 以上模型的入场券。

三个经验法则：

1. 做微调和推理验证：4090 或 5090 起步完全够用，7B 模型 Q4 量化只需约 4GB 显存，70B Q4 约 35 至 40GB，两张 5090 就能跑。
2. 做 70B 级 SFT 或多模态训练：直接上 8 卡 HGX，A800 二手是性价比之选，单卡 80GB、月租口径约 3.15 万至 4.5 万元，整机二手价约 60 万至 80 万元。
3. 拿不到进口卡：昇腾 910B 生态的框架适配已比较成熟，网上踩坑记录多，遇到问题容易找到答案。

三、四大避坑清单​

坑一：供电和散热被低估。 8 卡 H100 仅 GPU 满载就是 5.6kW，加上 CPU、内存、网卡，整机规划要按 8kW 以上算，普通办公室电路根本扛不住。租机房时确认机柜功率上限和是否支持液冷。

坑二：PCIe 版省钱省错了地方。 PCIe 版 8 卡机比 HGX NVSwitch 版便宜约 7 万美元，但没有 NVLink，多卡张量并行通信走 PCIe，大模型训练效率会明显下降。只做推理可以买 PCIe 版，做训练别省这个钱。

坑三：忽视保修和二手卡来源。 二手 A100 单卡约 18,500 美元、H100 约 18,000 至 22,000 美元，价格诱人，但矿卡翻新、显存故障风险真实存在。务必要求原厂保修转移或经销商保修，并做 24 小时烤机测试再付尾款。

坑四：忘了算网络和存储。 报价单上的整机通常不含 InfiniBand 交换机、光模块和分布式存储，这部分加起来可能再花 10 万至 40 万元。采购前让供应商把 BOM 拆开写清楚。

四、结尾建议​

给初创团队一句话总结：先用租赁验证业务，再决定买什么卡。 按 2026 年国内价格，4090 单卡时租低至 2 至 4 元，H100 单卡 28 至 35 元（第三方平台可低至 9.5 元左右），几个月的租赁费用就能摸清你的真实负载形态。如果月均利用率能稳定超过七成，自建才划算；否则把钱留在账上，比堆在机房里灵活得多。真要买，显存买够、供电留足、保修写清，这三条守住了，第一台 8 卡机大概率不会配错。

报价单上的 GPU 单价，通常只占三年总拥有成本的一半左右。电费、机房、冷却、折现和一系列隐藏项，才是采购决策里真正拉开差距的部分。

一、TCO 的五大组件​

一台 AI 服务器的三年总拥有成本，可以拆成五个部分：

1. 采购成本：GPU 卡 + 服务器节点 + 网络设备，一次性支出，不参与折现。
2. 电费：设备电耗 × 使用小时数 × 电价，三年里最大的持续支出之一。
3. 机房托管/租金：机柜租金或自建机房折算成本，按卡或按柜计费。
4. 冷却：风冷机房里冷却电耗约为设备电耗的 30%，液冷机房可压到 10% 左右。
5. 折现：未来三年的运营支出按年化折现率折算回今天的价值，让"三年合计"有可比性。

二、本站 TCO 计算器的默认口径​

为了让测算可复现，TCO 计算器采用了一套公开的默认口径：

• 实际功耗：不按 TDP 满负荷计，而是按"实际功耗 = TDP ×（空闲比 +（1 − 空闲比）× 使用率）"计算，空闲功耗比例默认 15%。
• 年电费：实际功耗 × 8760 小时 × 电价，电价默认 $0.1/kWh。
• 冷却：冷却电费 = 设备电费 ×（PUE − 1）。PUE 默认 1.3（风冷），液冷可设 1.1，极致方案 1.05。注意冷却单独列示、不再重复乘 PUE，避免双重计算。
• 折现：年化折现率默认 8%，按年末现金流口径折现；采购是一次性支出，永不折现。
• 集群口径：默认每 8 卡配一台服务器节点（约 $30,000/台），网络设备按 GPU 采购价的 12% 估算，千卡级集群另计每年约 $15 万的人力 OPEX。
• 汇率：人民币定价统一按 7.2 换算为美元。

三、实例测算：8 卡 B200 集群的三年 TCO​

以 B200 为例做一次文字推演。取站内卡口径：TDP 1,000W，市场价约 $42,000/卡；使用率取默认 90%，三年期。

一次性支出：GPU 采购 8 × $42,000 = $336,000；服务器节点 $30,000；网络设备按 12% 约 $40,300。合计约 $40.6 万。

年度运营：实际功耗 = 1kW × 8 ×（0.15 + 0.85 × 0.9）≈ 7.3kW；年设备电费 ≈ 7.3 × 8760 × $0.1 ≈ $6,400；冷却按 PUE 1.3 再加 30%，约 $1,900；机柜租金按 $500/卡·年 约 $4,000。年运营合计约 $12,300。

折现：8% 折现率下三年折现因子约 2.58，运营支出折现后约 $3.2 万。三年 TCO 约 $43.8 万（按 7.2 汇率约合 ¥315 万）——比单纯的采购价高出约三成，这还没算人力。拆成明细表更直观：

成本项	口径	金额（3年口径）
GPU 采购	8 × $42,000（市场价）	$336,000（一次性，不折现）
服务器节点	8 卡 × 1 台	$30,000（一次性）
网络设备	GPU 采购价 × 12%	约 $40,300（一次性）
设备电费	7.3kW × 8760h × $0.1	约 $6,400/年，折现后约 $16,500
冷却	设备电 ×（PUE 1.3 − 1）	约 $1,900/年，折现后约 $4,900
机柜租金	$500/卡·年 × 8	$4,000/年，折现后约 $10,300
合计	—	约 $43.8 万（≈¥315 万）

换成 Rubin R200 级别的旗舰方案，差距更夸张：单卡 TDP 1,800–2,300W 且必须液冷，NVL72 机柜功耗约 180kW，机柜定价 350–400 万美元。机柜电费按液冷 PUE 1.1 测算依然可观，这就是为什么"AI 工厂"的选址决策首先是电力决策。AMD MI455X 的 TDP 与定价均未公开，评估时建议按 Helios 机柜 225–245kW 的功耗上限做保守测算。

四、被忽略的隐藏成本​

公式之外的五类成本，最容易让预算失控：

• HBM 涨价传导：2026 年 HBM 供应紧张直接推高卡价——昇腾 950DT 渠道价超 ¥25 万（两个月内涨 20%–50%）、950PR 突破 ¥8 万、寒武纪思元690 上调 20%–30%。今天入库的价格，明年可能就是另一回事；连二手 A100 市场价（约 $28,000）都已远超当年 $15,000 的指导价。
• 供货周期：Rubin R200 自建机房用户要到 2027 年一季度才能采购，MI455X 规模爬坡要到 2026 下半年之后。等卡的每一天，都是空转的机柜租金。
• 软件迁移：从 CUDA 迁到 ROCm 或 CANN，即便有兼容层（CANN Next 官方口径约 80% 的 PyTorch 代码仅需改配置），工程师时间和调优成本也要折算进 TCO。
• 液冷改造：B300 Ultra TDP 1,400W 起就必须液冷，8 卡 DGX B300 峰值功耗约 14kW，相当于两台 H100 服务器。风冷机房升级液冷是一次性资本开支，很多预算模型里根本没这一项。
• 电力增容：Helios 机柜 225–245kW、NVL72 约 180kW，数据中心级部署往往需要电力扩容审批，周期以月计。

五、云租 vs 自建：决策框架​

本站 TCO 计算器内置了 Build-vs-Rent 模型，核心结论可以用一个公式概括：自建的每 GPU·小时成本 = 固定成本 ÷ 利用率 + 变动电费。它意味着：

• 利用率是分母：跑满的自建集群单位成本可能显著低于云价；利用率 30% 以下，自建几乎必然亏。公式还能解出盈亏平衡利用率——云价低于你的变动成本底线时，租赁恒优。
• 云价参照系：默认云价 $2.5/GPU·小时；实际行情中 H100 约 $2.00，B300 约 $8.00。拿你的负载画像去对号入座。
• 决策规则：稳定高负载（利用率 70% 以上）倾向自建；波动或探索期负载先云租；介于两者之间的，用计算器输入真实电价、租金和利用率跑一遍敏感性分析（电价 +20%、使用率 +20%、PUE 1.5 等情景）再做决定。

小结​

TCO 测算的价值不在于算出一个精确数字，而在于把"采购价幻觉"拆掉：一次性支出只占三年成本的一半到三分之二，电费与冷却跟随功耗走，折现让远期支出显形，而 HBM 涨价、供货周期、液冷改造这些隐藏项往往才是超预算的元凶。建议打开站内 TCO 计算器，用自己的参数实测一遍；型号规格可查阅完整对比表与各芯片卡页面。