13 posts tagged with "Cloud Pricing"

继 10 月 21 日 GTC 柏林宣布 Vera Rubin 全面生产后，落地最快的消息来自谷歌：Google Cloud 与英伟达联合宣布 Vera Rubin 基础设施进入 GA 节奏——搭载 Vera Rubin NVL72 的 A5X 实例下月上线。

一、关键事实​

项目	内容
实例	A5X（Vera Rubin NVL72 液冷机柜）
上线时间	2026 年 11 月 GA
部署计划	最多 96 万块 Rubin GPU
首批用户	伦敦 AI 公司 Ineffable Intelligence（大规模强化学习研究）
区域扩展	后续扩展至欧洲

96 万块是什么概念？以 NVL72 机柜计约 1.3 万座机柜，接近一座 1GW 级 AI 工厂的芯片量级——谷歌在自家 TPU 之外，同时在 GPU 侧保持十万级到百万级的采购节奏，「TPU 自研 + GPU 采购」双轨继续加码。

二、对云选型的三个信号​

1. Rubin 可用性不再纸面：GA 实例意味着企业可以在云上按需消费 Rubin 算力，而不必自己锁机柜订单——中小团队吃到最新硬件的时间差缩短到「一个月」
2. 强化学习负载成为首发场景：Ineffable Intelligence 用 A5X 做 RL 研究，与推理侧 ASIC 替代曲线形成对照——训练与 RL 仍是 GPU 最深的护城河
3. 云承诺可抵扣：已有 Google Cloud 消费承诺的企业可以直接用 A5X 对冲承诺额度（这与 OpenAI 模型上架 Google Cloud Marketplace 的结算逻辑一致）

三、与 TPU 的关系：不是替代，是分层​

谷歌 2026 年 capex 指导 $1950-2050 亿，TPU（v8 训练/推理双线、2027 年底全面量产）与 Rubin GPU 各自承接不同负载层：固定的大规模推理走 TPU，前沿训练、RL 与需要 CUDA 生态的客户负载走 GPU。对采购方，这意味着在谷歌云一家就能同时拿到两大技术路线——议价时多了一张牌。

延伸阅读：Rubin R200 卡片 · TPU 8t/8i 卡片 · TCO 计算器

推理时代的核心 KPI 只有一个：每百万 Token 的总成本。2026 年 10 月，公开可查的最低纪录是 2.01 美分——TPU v7 配合 vLLM-TorchTPU 栈在 SemiAnalysis InferenceX 8K/1K 测试上交出的成绩，较 9 月的 3.6 美分下降 44%。

一、推理成本的三块构成​

推理成本不是算力一项，而是三块的和：

成本项	占比趋势	决定因素
算力（计算）	解码阶段占比低	FP8/FP4 量化效率、批处理调度
内存带宽	解码阶段主导	HBM 容量与带宽、KV Cache 管理
存储/网络	随上下文变长上升	企业级 SSD、向量库、机间互联

关键认知：自回归解码是访存受限而非算力受限的工作负载——Token 生成速度的上限是「把权重和 KV Cache 从内存搬进计算单元的速度」。这解释了为什么 18 TB/s 的 Maia 300、19.2 TB/s 的 Rubin R200 这样的带宽数字，比峰值算力更值得看。

二、降价的四个引擎​

1. 低精度量化：FP8 → FP4 每一步都直接砍 KV Cache 与权重搬运量；专用矩阵单元（Maia 300 的 FP4 13.8 PFLOPS）把量化开销压到最低
2. 软件栈效率：vLLM 的 continuous batching、SGLang 的 RadixAttention、MLA 类低秩注意力——同一块硬件，软件代差可以拉开 2 倍以上成本差
3. ASIC 专用化：砍掉 FP64 与图形逻辑的推理芯片，把晶圆面积全部留给访存与低精度矩阵——OpenAI 的第一颗自研芯片就是这么设计的
4. 规模与利用率：超节点与机柜化把集群有效利用率从 30-40% 提到 60%+，摊薄固定成本

三、基准数字的正确用法​

SemiAnalysis InferenceX/InferenceMAX 的价值在于提供了一个横向可比的口径，但使用时要注意三点：

• 数字是开发者自报的（谷歌引用），跨厂商对比时要确认相同模型、相同精度、相同上下文配置
• 2.01 美分是 8K/1K 特定配置，长上下文场景成本结构完全不同
• 单价 ≠ TCO：还要叠加机时利用率、预留容量、故障率

四、给选型者的清单​

1. 把「每百万 Token 成本」写进采购 RFP，要求厂商按 SemiAnalysis 同款配置报数
2. 分别测算 Prefill 与 Decode 的成本结构——昇腾 950 的 PR/DT 双版本正是把这两段拆开优化的产物
3. 关注软件栈路线图：同一硬件半年后降价 44% 的案例说明，软件是推理时代最大的免费算力
4. 用 TCO 计算器把芯片价、功耗、PUE、利用率折现到统一口径

延伸阅读：TorchTPU 开源 · 存储超级周期 · 完整对比表

长江商报援引寒武纪中报的表述是：中国互联网大厂的 Token 日消耗正呈指数级增长，推理算力已接替训练成为新增长极。这不是一句口号——它正在改写芯片厂商的产品定义（训练/推理拆分）、云厂商的自研路线（全部推理优先）与采购方的成本模型。

需求侧：三组数字​

• IDC：2026 年中国智能算力规模预计 2,576.5 EFLOPS，同比增长 87.9%——增量主要来自推理
• Agent 效应：智能体任务的特点是多步骤、长上下文、持续运行，单次任务的 Token 消耗是传统问答的数十倍，且对延迟敏感
• 平台侧：商汤大装置披露日均 Token 服务量已达 2.42 万亿（公司口径），并规划异构 Token 工厂

推理负载的经济学特征与训练完全不同：训练追求峰值算力利用率，推理追求单位 Token 成本与延迟的平衡。这解释了为什么 2026 年 10 月的三场重磅发布全部是推理优先：Maia 300（长上下文/智能体）、GPU D 系列（decode 阶段 Token 成本）、TPU 8i（推理专用拆分）。

供给侧：产品定义随需求改变​

厂商	推理侧动作	信号
NVIDIA	Rubin 平台引入 Groq 3 LPU（GTC 2026-03 官宣）做低延迟解码	首次在自家平台引入第三方推理芯片
Google	v8 首次拆分出推理专用 8i	训练/推理产品线分家
微软	Maia 300 定位「主要推理系统」，2027 数吉瓦部署	自研芯片从辅助转为主力
Intel	GPU D 系列专攻 decode Token 成本	放弃 HBM 军备竞赛
华为	950PR（Prefill）/ 950DT（Decode+训练）双版本	场景细分设计
Meta	MTIA 承接全部推荐与 Llama 推理，训练仍外购	「训练买、推理自建」分工定型

行业分工已经清晰：训练买 NVIDIA（偶尔 AMD），推理自研或国产。这个分工在 2027 年只会加深。

价格信号：两套体系加速分化​

中国市场与国际市场的算力价格已经事实性分轨（口径：可复核成交数据，非渠道报价，引自行业媒体 2026-10 汇总）：

• 国内成交口径：B300 八卡整机约 1,880 万元、H200（2T 版）约 670 万元；租赁价格 B300 超 40 万元/月、H200 超 14.5 万元/月
• 海外合规口径：B300 八卡整机 400-800 万元（不含中国、不含税）
• 租赁性价比：SemiAnalysis 口径 MI355X 大客户批量租用约 1.50 美元/GPU 时、零售 2.90 美元

注意两个边界：上述国内数字是「成交价非报价」，且不含灰市与转口裸机口径；跨体系直接换算比较没有意义，因为供给条件（管制、保修、软件服务）完全不同。

对 2027 年采购决策的三点推论​

1. 推理容量规划要按 Agent 负载重估：多步骤智能体让单用户 Token 消耗放大一个数量级，按历史对话流量外推容量会系统性低估。建议按「日活 × 任务数 × 每任务 Token」建模，并预留 2-3 倍余量。
2. MFU 比峰值算力更值钱：超节点把集群 MFU 从约 30% 提升到 2.75 倍水平（研报口径），意味着同样的电费预算下有效算力翻倍。选型时「实测 MFU × 峰值算力」才是真实算力。
3. 混合供给成为常态：训练用国际旗舰、推理用国产或自研的分层架构，已经是大厂的标准答案。企业采购可以复制这个分层：核心训练集群保持 CUDA 生态，推理层引入国产卡（思元690、MTT S5000、昇腾 950PR 等）做成本优化。

相关阅读​

• 完整对比表（81 款并排）
• TCO 计算器
• 超节点时代的选型框架
• 寒武纪业绩兑现期分析

如果说 HBM4 三倍报价是 AI 算力成本的显性冲击，那么存储涨价的第二波正在从 HBM 向整个存储市场蔓延——而这一波的发动机是 AI 推理，不只是训练。

一、4Q26 价格全景（TrendForce，2026-09-30 口径）​

品类	合约价环比预期
传统 DRAM	+10% ~ +15%
NAND	+15% ~ +20%
企业级 SSD	+23% ~ +28%

DRAM 交期已拉长至 40 周以上，高盛称之为 15 年来最严重的存储短缺；新产能要到 2027 年底至 2028 年才陆续落地。

二、企业级 SSD：AI 落地的第二增长极​

HBM 对应训练，企业级 SSD 与服务器 DRAM 对应推理与应用落地。Agentic AI 规模化应用带动实时检索、缓存与向量数据库存储需求成倍增长：

• TrendForce 预计 2026 年企业级 SSD 位元需求年增突破 80%
• QLC 渗透率持续提升，PCIe 6.0 随新一代 AI 服务器平台放量
• 新增高容量供应多数已被提前锁定

这解释了一个反直觉现象：推理占比越高的 AI 公司，对存储的依赖越重。KV Cache、向量库与多轮会话上下文都在吃 SSD 与大容量 DRAM。

三、HBM 的挤出效应是总开关​

单颗 HBM 占用的晶圆面积约等于 3GB DDR5。三星高管给出的量化关系：HBM 在 DRAM 产能中占比每提升 1 个百分点，消费级 DRAM 供给被压缩约 3 个百分点。当占比从 2026 年约 20% 升至 2027 年近 30% 时，消费级 DRAM 供给收缩近 30%。手机市场已有体感：12+256GB 内存套件采购价涨至约 2200 元，DRAM 超越 SoC 成为手机中最贵的单一元器件。

四、国产存储的位置​

厂商	全球地位	技术进展
长鑫存储 CXMT	DRAM 全球第 4，份额 9.5%	量产 G5 DRAM，推进 4F² 技术
长江存储 YMTC	NAND 出货量前三（14%）	计划扩建 NAND 研发线

与韩国、日本头部厂商的技术差距评估约为 1-3 年。在全球存储紧缺、长约锁定的背景下，国产存储的产能弹性对国内 AI 产业链有额外的战略价值——这与国产 AI 芯片在算力侧的替代逻辑同构。

五、对算力预算的影响​

2027 年扩容的 TCO 测算里，存储与内存已不再是「按比例摊销」的配角：企业级 SSD 单季度 20%+ 的涨幅、40 周的交期，意味着存储采购需要提前锁定，且要作为独立成本项建模，而不是藏在服务器单价里。

延伸阅读：TCO 计算器 · 推理单位成本经济学

对一家 2026 年的 AI 创业公司来说，算力决策不是技术问题，是一个利用率问题。多家独立分析在 2026 年给出的阈值惊人一致：持续利用率在约 40% 以下，租用几乎总是更便宜；超过约 55% 至 65%，自建或共置才开始在三到三十六个月的维度上赢。你需要做的是准确估计自己的利用率，而不是选择你更偏好的那个答案。

---

一、先把「利用率」算出来，而不是猜出来​

2026 年的盈亏平衡测算给了一个可复现的算例。取一台 H100 新机价格区间 2.5 万至 4 万美元的中值 3 万美元，专业托管费用约每 GPU 小时 0.35 美元（含电费），同等级设备租用约每小时 2.50 美元——交叉点大约在 1.4 万 GPU 小时：100% 利用率下约 19 个月，40% 利用率下约四年。 若把两年残值按 40% 至 50% 计入，有效盈亏平衡点缩短约三分之一。

二手市场的保值能力是被低估的变量：二手 A100 在推出数年后仍以 4000 至 9000 美元交易。

所以第一步不是选卡，是拉数据。 把过去 8 周的训练与推理任务全部导出来，算出「实际运行 GPU 小时 / 可用 GPU 小时」。这个数字低于 40%，你就该继续租。

二、五阶段演进路径​

阶段	月 token / 训练量	利用率	算力策略	预算量级
0 期：原型验证	百万级 token	低于 10%	纯租，按秒/按小时付费	每月数百至数千美元
1 期：MVP 有真实用户	千万级 token	10% 至 30%	纯租 + 本地小卡	每月数千至 2 万美元
2 期：PMF 已验证	亿级 token	30% 至 50%	长约租 + 混合策略	每月 2 万至 10 万美元
3 期：稳定增长	十亿级 token	50% 至 70%	买或共置整机	一次性 25 万至 40 万美元级
4 期：平台化	百亿级 token	70% 以上	自建集群 + 多云弹性	百万美元级资本支出

自建的另一个门槛是 token 量本身：公开分析给出的阈值是，70B 级模型在每月 5 亿至 8 亿 token 以上时，自建的推理开支相比前沿 API 标价可降低 65% 至 80%。低于这个量级，运维成本摊不薄。

三、买租交叉点的三种测算口径​

2026 年各家给出的交叉点略有不同，因为假设不同。三个口径值得分别记住：

口径	交叉利用率	对应假设
保守	约 40%	A100 对 H100 对比，含残值抵扣
中性	约 55% 至 60%	对标超大规模云商按需价，11 至 14 个月回本，36 个月内省 50% 至 65%
激进	约 70%	含人力分摊与机房折旧

实操建议：按中性口径（55% 至 60%）做决策，按保守口径（40%）做否决。 如果你的测算结果落在 40% 到 55% 这个灰区，答案通常是第三条路——共置。

四、第三条路：买硬件但不自建机房​

公开分析中反复出现的一个洞察是：买租二选一的框架默认了「买 = 自建机房」，而这个假设往往是错的。 运营方正走的折中路径是：买下硬件，把它放进同一座提供合同电力、液冷和运行时间的设施里。这条路在「拥有」那一栏加上了托管费（上述算例中约每 GPU 小时 0.35 美元），同时消除了自建的每一条运维异议——电力、制冷、网络、以及凌晨三点的故障。

对超过 40% 负载的稳定工作负载，这通常是可用的最低总成本路径。 托管价格的市场区间是每机柜每月 1200 至 2500 美元（海外标准），机位托管另按 40 kW 液冷机柜、机位租金约 1.5 万元 / 月加电费约 8640 元 / 月的国内口径测算。

五、四季度特有的两条变量​

1. 云端长约的折扣窗口在放大。 2026 年 10 月初的公开报价显示，H100 在 Azure 的 1 年承诺约比按需低 36%、3 年承诺低 56%；Google Cloud 对应为约 31% 与 56%。主流云的 1 至 3 年 GPU 预留合约通常可在按需价基础上打 30% 至 55% 的折扣。如果你的利用率在灰区，签长约比自建更安全。
2. 硬件价格仍在波动上行。 2026 年 9 月国内渠道数据显示，RTX 5090 风扇卡在华南涨至 47100 元，较 9 月初上涨 12%，而 5090 服务器月租费率仍稳定在 1.35 至 1.6 万元；L20 48GB 报价超过 32000 元。硬件买家正在吸收成本，租户没有——这个价差会收窄，但今天买硬件是在为明天的稀缺付溢价。

六、四条决策纪律​

• 利用率低于 40%，一律租。 不要用「资产归属」的叙事说服自己。
• 灰区（40% 至 60%）选共置。 买硬件、不自建机房，避开自建的每一条运维承诺。
• 数据不能出厂，选项就变了。 医疗、法律、金融数据或合同约束下的算力需求，是硬需求不是偏好——哪怕账面上租更便宜。
• 别在通胀的市场里押注单卡。 2026 年的一个合理策略组合是：中端本地卡（如约 1150 美元级别的 16GB 消费级卡）负责日常迭代、调试和小规模微调，云端负责显存不够或长跑的任务。本地卡承接 80% 的日常工作、云端承接那 20% 本来会逼你买旗舰卡的任务——这是当下风险最低的路径。

一句话总结：2026 年 AI 创业公司的算力策略只有一句话——先量利用率，再选路径。低于 40% 就租，灰区就共置，超过 60% 才自建。而四季度特殊的地方在于：云端长约能省三到五成，硬件却在涨，两边的价差正在逼你做出更早的决定。

如果你在 2026 年四季度做 GPU 采购决策，最大的认知误区是继续盯着「GPU 有没有货」。TrendForce 在 10 月 5 日发布的供应链追踪里明确指出：在其跟踪的七大服务器零部件类别中，GPU 是唯一处于均衡水平的一类，而 CPU、DRAM、企业级 SSD 相关 NAND、HDD、ABF 载板、MLCC 全部处于紧张或极度紧张。瓶颈已经从「拿不到加速卡」，迁移到了「拿到卡之后，凑不齐一台能上电的整机」。

---

一、四季度的真实价格水位：现货在涨，也在分化​

先看海外云端。多家价格追踪站在 2026 年 10 月上旬给出的按需单卡小时价（美元）大致落在这个区间：

型号	低价位平台	中位区间	高价位平台
H100 SXM 80GB	RunPod 约 2.69	中位数约 5.00	Azure 美东约 12.29
H200 SXM 141GB	RunPod 约 3.59	中位数约 5.40	Google Cloud 约 10.60
B200 180GB	约 5.98	中位数约 8.60	约 14.24
B300 288GB	RunPod 约 7.89	中位区间 9 至 12	AWS p6e 约 11.70（候补名单）

同一款 H100，最高价与最低价之间能出现 4.6 倍价差。这是四季度最重要的一条实操结论：你不是在买一种商品，你是在买一个供应商关系。

国内现货市场的走向更复杂。2026 年 9 月中旬的一线渠道数据显示，RTX 5090 涡轮卡与风扇卡报价分别为约 4.8 万元与 4.6 万元一张，相比前期高点已有回落；H100 老款整机维持在 325 至 330 万元区间；H200 两路整机约 560 至 565 万元一台；GB200 整机柜约 6800 万元一套，GB300 约 12500 万元一套。与硬件价格相比，租赁端的费率并未同步上涨——5090 服务器的月租费率仍稳定在 1.35 至 1.6 万元区间。这意味着现在买硬件的人，正在独自承担硬件端的溢价。

值得注意的是一个反向信号： Nebius 在 10 月 1 日上调了 GPU 小时价，媒体测算涨幅可达 21%，涉及 H200 报价升至约 5.40 美元。而 CoreWeave 在 9 月 17 日披露，其第三季度签署的 3 至 6 个月短约，按「年化收入除以服务集群所需电力」口径计约为每兆瓦 4000 万美元。这两组数据共同说明：四季度仍在涨的是新签的、算力紧张的合约，而非全部存量。

二、承诺折扣才是真正的采购价​

如果只比按需价，你会高估成本三到五成。2026 年 10 月初的公开报价显示，主流云的 H100 承诺折扣幅度如下：

平台	按需	1 年承诺	3 年承诺	竞价实例
Azure（美东）	12.29	约 7.87（约 -36%）	约 5.40（约 -56%）	约 2.27（约 -82%）
Google Cloud	约 11.06	约 7.67（约 -31%）	约 4.86（约 -56%）	约 6.62

这里有两个反直觉的点。第一，Azure 的 H100 竞价实例折算到单卡约 2.27 美元，低于我们核实的所有新型 GPU 云按需价——前提是你的任务能承受被抢占。第二，Google Cloud 上同一台机器的竞价实例（6.62）比其排队启动的柔性实例（约 4.79）贵出约 38%，而绝大多数团队从来没把这两者放在同一张表里比较过。

实操结论：先算承诺，再谈按需。 如果你的负载有 70% 以上的稳定基线，四季度就应该把 1 年承诺的报价拉进谈判桌，而不是按单小时询价。

三、整机交付才是真正的排期表​

TrendForce 10 月 5 日的交期数据，是四季度采购排期的核心依据：

零部件	当前交期	均衡基准	倍数
GPU	30 至 40 周	30 至 40 周	已均衡
DRAM	20 周	8 周	2.5 倍
HDD	50 周	16 周	约 3.1 倍
ABF 载板	48 至 56 周	12 周	4 至 4.7 倍
MLCC	35 周	12 周	约 2.9 倍
企业级 SSD 相关 NAND	16 周	8 周	2 倍

价格侧，TrendForce 于 9 月 30 日预计 2026 年第四季度常规 DRAM 合约价环比再涨 10% 至 15%；ABF 载板从 3Q26 到 4Q27 逐季上涨 10% 至 15%。美光 CEO 更是在 10 月初公开表示，存储短缺可能延续到 2028 年甚至更久，客户最终支付的价格将「显著高于今年」。

实操结论：把 CPU、内存、存储、光模块的采购与 GPU 订单绑定谈。 如果你只锁了 GPU 的货，等卡的 30 周过去后还要再等 DRAM 的 20 周。横向看一眼，同一份调研还显示中压开关柜交期约 22 个月、大容量变压器约 18 个月——自建机房的项目，采购启动点要再往前推。

四、六步实操流程​

步骤	动作	交付物
1	拆 BOM：区分「卡已锁定、组件未锁定」与「全部现货」两类资产	资产分类表
2	拉齐双报价：云端 1 年/3 年承诺价 + 渠道整机含税价	双轨比价表
3	算三口径成本：租金、电力、折旧（含残值）	单位 token 成本
4	设采购分层：刚需锁货锁交付，非刚需不囤	采购分层清单
5	谈条款：把交期违约、显存规格变更、价格调整写进合同	条款清单
6	留后手：保留一条可抢占实例做弹性缓冲	弹性池预算

五、给采购负责人的四条清单​

• 先锁组件，再锁整机。 你的排期风险 90% 在 DRAM 和 ABF 载板上，不在 GPU 上。
• 把承诺价当谈判筹码。 Azure、Google 的 3 年承诺都在按需价的 44% 左右，1 年承诺约 64%，不询价就等于接受 100%。
• 警惕居间加价。 算力租赁渠道中居间人占比据称约三成，「总租-分租」模式会显著放大终端隐性成本；四季度更应走直签。
• 现货与租值的背离要计入模型。 硬件在涨、月租在稳，意味着现在囤货的持有成本正在被市场惩罚——除非你能证明未来 6 个月算力会继续短缺，而数据支持这个假设。

一句话总结：四季度 GPU 采购的正确姿势，不是「抢到卡」，而是「在组件最紧的时候把整机合同锁死，同时用承诺折扣把云端备选方案的账算清」。

截至 2026 年 10 月，四大云服务商的 2026 年资本开支指引合计已升至约 7200 亿至 7450 亿美元。这个数字还在上修路径上，而 10 月末即将开启的三季度财报季，是这一趋势能否延续的第一个真实检验点。

指引全景：全部上修，无一下调​

据 7 月下旬财报电话会披露的信息，四家云厂在最新一轮财报中全部上调或维持了资本开支预期。其中亚马逊将 2026 年现金资本开支指引从此前的约 2000 亿美元上调至约 2200 亿美元，并明确将涨价归因于内存成本上升；Alphabet 将全年指引从 1800 亿至 1900 亿美元上调至 1950 亿至 2050 亿美元；Meta 把区间下限从 1250 亿美元抬升至 1300 亿至 1450 亿美元；微软则因租赁会计口径调整，账面数字反而下调至约 1750 亿美元，并不代表实际投入减少。

公司	最新季度资本开支	上半年实际	2026 全年指引	主要驱动说明
亚马逊	约 531 亿美元	约 963 亿美元	约 2200 亿美元	上调，明确提及内存成本
Alphabet	约 449 亿美元	约 806 亿美元	1950 亿至 2050 亿美元	技术基础设施，服务器与网络
Meta	约 311 亿美元	约 509 亿美元	1300 亿至 1450 亿美元	下限上调，AI 集群建设
微软	约 410 亿美元（FY26 Q4）	约 729 亿美元	约 1750 亿美元（租赁口径）	口径变更，非投入下降

若把甲骨文 FY2027 指引计入，合计规模将进一步抬升至约 8350 亿美元。从上半年与全年指引的差额看，四家公司对下半年的支出预期都明显加速——亚马逊隐含下半年约 1240 亿美元，Alphabet 约 1140 亿至 1240 亿美元，Meta 约 790 亿至 940 亿美元。

支出去向：不只是加速卡​

一个容易被忽略的细节是，微软在 FY26 第四财季电话会上明确说明，当季约 410 亿美元资本开支中约三分之二属于「短寿命资产，主要是 CPU 和 GPU」。这类资产折旧周期短、单价高，对零部件价格变动极为敏感。亚马逊高管也在电话会上把指引上调直接归因于内存成本。

另一边的压力来自供电与场地。据公开统计，行业跟踪的 104 个数据中心项目中已有 54 个在建，29 个已宣布，16 个部分运行，5 个完全投运；披露规模的项目合计规划容量约 104.5 吉瓦。配套的 52 笔电力交易中，47 笔披露容量的合计约 70.3 吉瓦，其中 14 笔落在 2026 年第三季度，是该数据集任何一个季度中最多的一次。

资本结构的压力同样在积累。据报道，Alphabet 已完成上市以来首次股票发行并发行大额债券，Meta 在 2026 年二季度自由现金流仅约 7.84 亿美元的情况下依赖私人信贷借款补充流动性。评级机构与投行普遍提示表外租赁与服务器采购承诺正在形成大额隐性负债。

研判：四季度看三件事​

第一是三季度财报。10 月末的财报季将给出第一个可以证伪的季度数据。如果有任何一家下调全年指引，「上修周期」才算真正见顶；在此之前，所有的「AI 泡沫」争论都还停留在估值层面而非支出层面。

第二是内存成本的传导路径。亚马逊把涨价写进指引，说明成本压力已经到了无法吸收的阶段。HBM 与 DDR5 同厂不同线，产能分配存在此消彼长关系，一旦消费级 DRAM 供给被压缩，云厂需要在不同内存品类之间重新分配预算。

第三是会计口径的可比性。微软把未来数据中心租赁从融资租赁调整为经营租赁，导致同一笔投入在资本开支科目上的呈现发生变化。任何跨公司加总的「AI 支出」数字，都必须先问一句口径是否一致。

对芯片产业而言，四季度的实际含义很直接：只要这四家不松手，HBM、先进封装、高速互联的订单可见度就维持在两年以上；但采购结构正从「单颗加速卡」转向「整机架系统 + 供电 + 液冷」，供应商名单会随之变长。

「每百万 token 多少钱」这个问题，在 2026 年已经失去了单独讨论的意义。2026 年 10 月 8 日的价格快照显示，最便宜的模型输入价已跌到每百万 token 0.05 美元（GPT-5 Nano）到 0.14 美元（DeepSeek V4 Flash）区间，而旗舰模型仍在 4 至 5 美元输入、20 至 25 美元输出。头部与尾部之间相差约 100 倍，真正决定账单的不是单价，而是你的计量口径。

---

一、2026 年 10 月的价格环境基线​

以下是我们核实的公开价格（单位：美元 / 每百万 token），可用于建立四季度预算模型：

模型	输入	输出	上下文	备注
GPT-5 Nano	0.05	0.40	—	当前最低输入价
Qwen3.8 Flash	0.09	0.28	—	聊天场景最省
Gemini 2.5 Flash-Lite	0.10	0.40	—	精确 token 计数
DeepSeek V4 Flash	0.14	0.28	128K	输入侧另有峰谷价
GLM-5.3 Flash	0.15	0.50	128K	—
Qwen3.6-Plus	0.50	3.00	1M	超 256K 输入翻至 2.00 / 6.00
Gemini 3.7 Flash	0.75	3.75	1M	促销价，2026-12-31 后翻倍
Claude Opus 5	5.00	25.00	1M	8 月定价至今未变

四个必须注意的口径陷阱：

1. 促销有到期日。 Gemini 3.7 Flash 的 0.75 / 3.75 是促销价，官方标注 2026 年 12 月 31 日后恢复至 1.50 / 7.50。Qwen3.6-Plus 的国际版价格在输入超过 256K 后跳到 2.00 / 6.00。用促销价做全年预算，等于给自己埋一个 2 倍的账。
2. 峰谷定价真实存在。 DeepSeek V4 Flash 的官方价为离峰 0.22 / 0.66、峰段 0.44 / 1.32，峰段为 UTC 工作日的两个时段。如果你把离线批处理挪到离峰时段，同一批任务能省一半。
3. 缓存命中价差三个数量级。 DeepSeek V4 Flash 缓存命中输入低至每百万 0.007 美元。RAG 或多轮对话场景里，缓存命中率每提升 10 个百分点，输入成本下降约一个量级。
4. 输出单价通常是输入的 3 至 5 倍。 输入重的负载（翻译、文档重读）与输出重的负载（代码生成、长摘要）必须分开建模。

二、1 亿 token 月预算的真实账单​

取一个典型负载：1 亿输入 token + 1000 万输出 token。按上表单价估算：

模型	月账单估算	说明
DeepSeek V4 Flash	约 28.60 美元（离峰）	峰段则约 57.20 美元
Qwen3.6-Plus	约 80 美元	前提是多数请求输入不超 256K，否则约 260 美元
Gemini 3.7 Flash	约 112.50 美元	促销期内，12 月底后约 225 美元
GPT-5.6 Sol	约 600 美元	短上下文标准档
Claude Opus 5	约 750 美元	1M 上下文 + 默认开启思考

同一份工作，账单差 26 倍。 但这里有个陷阱比价差本身更重要：一个 0.14 美元的模型如果需要三次重试才给出正确结果，实际成本是 0.42 美元——比一次成功的 0.50 美元模型更贵。重试率必须计入单 token 成本。

三、什么规模开始值得自建​

自建的门槛取决于你的月 token 量。公开分析给出的经验阈值是：70B 级模型在每月 5 亿至 8 亿 token 以上时，自建的推理开支相比前沿 API 标价可降低 65% 至 80%。

而自建的另一条参考线来自芯片视角。联想 2026 年的生成式 AI TCO 研究给出：自托管 Llama 70B 的每百万 token 成本约 0.11 美元，而同类托管 API 约 2.00 美元，相差约一个数量级；对一台 Blackwell 级系统连续运行对标按需云价，五年节省超过 500 万美元，降幅 83.8%。

但这些数字有一个共同前提：硬件不闲着。该研究测算的盈亏平衡点，在对标按需云价时不到四个月，在对标深度折扣的多年期预留合约时则拉长到九到十个月。

四、实测框架：四步算出你的真实单位成本​

步骤	做什么	关键变量
1	统计真实输入输出比	通常在 5:1 到 20:1 之间，别用 1:1
2	测算缓存命中率	决定输入侧实际单价
3	折算重试与失败成本	重试率乘以单次成本
4	与自建摊销对照	自建月均 token 除以单卡月处理量

第 4 步的实操做法：拿一台具体卡型（比如 8 卡 H200 整机，月租 5 万至 6.6 万元；或 B200 云端按需约 5.98 至 8.60 美元/卡时），用你实测的吞吐（token/s）换算出月产出 token 总数，再除以月成本，得到自建的每百万 token 成本。这个数字必须用你自己的实测吞吐，不能用厂商标称峰值。

五、Q4 选型清单​

• 默认档：把 DeepSeek V4 Flash 或 Qwen3.8 Flash 作为新功能的第一落点，前者综合性价比最优，后者输入最省。
• 离线档：批处理、评测、数据清洗全部挪到离峰窗口，并接缓存，DeepSeek V4 Flash 缓存命中输入低至 0.007 美元/百万。
• 旗舰档：只在具体任务被证明需要时升级。GPT-5.6 Luna 被称为「旗舰 90% 质量、2% 价格」的位置，Claude Opus 5 与 GPT-5.6 Sol 的差价买的是能力上限而非平均表现。
• 自建评估档：月 token 量稳定在 5 亿以上、且负载 7×24 有基线，才启动自建建模。
• 预算纪律：所有促销价按到期后的价格做全年预算，把峰值定价按峰段价做压测。

一句话总结：2026 年 Q4 的 token 成本优化，重点已经从「找便宜的模型」转向「选对计量口径」——缓存、峰谷、重试率、促销到期日，这四项加起来的量级远超模型之间的价差。

千卡以下可以拍脑袋，万卡规模必须算账。自建、租用、混合三种路线的资金量级差出一个数量级，本文把三本账摊开对比。

一、自建万卡：钱花在哪​

以 8 卡 HGX H100 服务器为例，2026 年海外 OEM 整机报价约 25 万至 32 万美元。一万张卡即 1,250 台服务器，仅 GPU 节点硬件就在 3.1 亿至 4 亿美元。这还只是起点：按 SemiAnalysis 的估算，每台服务器还要追加约 6 万美元的网络、存储与机柜配套；万卡集群的组网用 IB 交换机、光模块、分布式存储通常再占总投资的 15% 至 25%。此外，8 卡 H100 仅 GPU 满载功耗就达 5.6kW，整机按 8kW 计，一万张卡对应约 10MW 的 IT 负载，加上制冷冗余实际要按 12 至 15MW 规划变电站。多数城市拿到这个量级的电力指标，周期以年计。

自建的真实优势在于三点：规模化后的单位成本低（自持 H100 三年摊销的全成本可低到每卡时 1.35 至 1.92 美元）、数据完全可控、以及资产残值（三年后 H100 二手仍能回收两至三成价值）。代价是资金门槛高、建设周期长、以及技术迭代风险——Blackwell 与 Rubin 世代逐步铺开后，H100 的残值曲线会进一步下探。

二、租用万卡：单价与长协​

云端路线的公开价格区间如下。海外超大规模云厂商的 H100 按需价约每卡时 3.85 至 4.20 美元；AI 云（neocloud）约 1.99 至 2.59 美元；一年期长协可压到 1.45 至 1.85 美元。国内方面，第三方平台 H100 单卡时租报 28 至 35 元，部分渠道低至 9.5 元上下；A100 80G 约 16 至 22 元；4090 约 2 至 4 元。值得注意的是 2026 年供需趋紧，国内高端卡租赁价格年内整体上涨了约三成，H200 月租已到 6.7 万至 9 万元一台（8 卡）的水平。

路线	资金形态	每卡时成本（H100 口径）	建设周期	主要风险
自建万卡	一次性 3.5 至 5 亿美元，另加年度电力运维	约 1.35 至 1.92 美元（三年摊销）	12 至 24 个月	技术迭代、残值缩水、电力审批
全租（按需）	零 CAPEX，按量付费	1.99 至 4.20 美元	即时	价格上涨、资源被回收、限流
全租（长协）	年度承诺消费	1.45 至 1.85 美元	1 至 3 个月	违约金、利用率不足仍全额付费
混合	基线 CAPEX 加峰值 OPEX	综合约 1.6 至 2.2 美元	6 至 12 个月	调度复杂、两套运维体系

三、混合路线：多数公司的最优解​

实践中的最优解往往是"基线自建，峰值租用"。把长期稳定的负载（如在线推理、常态化实验）放到自建集群，把训练冲刺期、大版本迭代的峰值需求用云端弹性消化。判断混合比例的一个实用公式：自建规模 = 全年负载曲线的 P50 水位，超过 P50 的部分交给租赁。这样自建资产的利用率能稳定在 70% 以上——这正是自建成本优于按需租赁的盈亏平衡点（约七成利用率）。

规模在 1,000 至 3,000 卡之间的团队还有一条中间路线：整机柜租赁或"可搬迁"设备。国内市场已出现 910C 单台月租 5.8 万元、910B 系列 1.35 万至 1.9 万元的可搬迁报价，适合项目制团队按训练周期占有机柜而不用建机房。

四、结尾决策清单​

1. 训练需求不确定、产品未验证：全租按需，别买任何硬件。
2. 负载稳定、三年内确定持续投入、能拿到电力指标：自建，但按 P50 而非峰值规划规模。
3. 两者之间（多数公司）：混合路线，自建基线加长协兜底加按需峰值。
4. 国内团队拿不到进口卡：评估昇腾 910B 或 910C 的租赁与可搬迁方案，先跑通生态再谈规模。
5. 无论哪条路，签长协前先做一个月的真实负载压测，用实测利用率反推合同量——万卡规模下，15% 的利用率误差就是数千万美元的浪费。

"月处理 10 亿 token，该买卡还是调 API？"这个问题的答案取决于四个变量：token 量、模型档位、利用率、以及隐性工程成本。本文给出一套可以直接代入自己数据的计算框架。

一、第一步：把 API 账单算清楚​

以 2026 年公开价格为基准。国产旗舰档：DeepSeek V3.1 输入约 2 元、输出约 8 元每百万 token；GPT-4o 级别约 2.5 美元输入、10 美元输出；轻量档模型（GLM-4 Flash、Qwen-Turbo 类）低至几毛钱每百万 token。由于输出单价比输入高 2 至 5 倍，估算时按"输出 token 为主"计费更接近真实账单。

一个实用换算：典型对话场景每次请求约 800 输入加 400 输出 token，用 DeepSeek 级旗舰模型，10 万次请求约 45 至 50 元人民币；用 GPT-4o 级模型约 300 元上下；用轻量档模型不到 10 元。先把你业务的月请求量和每次 token 数估出来，API 月账单基本就落定了。

二、第二步：把自建成本拆开​

自建的总成本由四块组成：

1. 硬件摊销：按三年直线摊销。参考价：8 卡 4090 服务器约 25 万至 35 万元，折合每月约 0.7 万至 1 万元；单卡 4090 整机约 2 万至 2.5 万元，每月约 600 至 700 元。
2. 电力与机房：8 卡 4090 满载约 2.5kW，按工业电价加制冷 24 小时运行，每月电费约 2,000 至 4,000 元；托管机房则按机柜计费，每月 3,000 至 8,000 元。
3. 人力：这是最容易被漏掉的项。一人兼职维护按每月 0.5 至 1 个人力成本计，全职 MLOps 每月 2 万至 4 万元。小规模自建的账常常"算得过来，养不过来"。
4. 闲置风险：利用率不足时，固定成本照付。

三、第三步：算平衡点​

一个可以直接套用的算例。假设业务每月处理 50 亿输出 token，用 DeepSeek 级旗舰 API，月账单约 4 万元（输出 8 元每百万乘 50 亿，加输入部分合计约 4 万至 6 万元）。若自建：部署开源同档模型需要 8 卡 H100（整机约 180 万至 240 万元，月摊销 5 万至 7 万元），加上电费与人力，月固定成本约 7 万至 10 万元——API 明显更便宜。

换成轻量档模型（输出约 1 元每百万 token）：同样 50 亿 token 月账单仅约 5,000 至 8,000 元，自建 8 卡 4090（月综合成本约 1.2 万至 1.5 万元）反而更贵——此时 API 依然是赢的，除非你的模型是精调过的私有模型，API 侧没有对等选项。

什么时候自建赢？三个条件叠加时：月 token 量达到百亿级以上、有私有微调模型必须自托管、利用率能稳定超过六成。以 8 卡 4090 承载 7B 至 14B 级量化模型为例，满负荷月吞吐可达数百亿 token，摊薄后每百万 token 成本可低至 0.1 元以内，远低于任何 API。

月 token 规模（输出口径）	API 月成本（旗舰档）	推荐路线	理由
低于 10 亿	低于 1 万元	纯 API	自建固定成本无法摊薄
10 亿至 50 亿	1 万至 6 万元	API 加缓存优化	用前缀缓存与轻量模型路由降本
50 亿至 200 亿	6 万至 25 万元	测算后混合	平衡区间，取决于模型档位与利用率
超过 200 亿	25 万元以上	自建为主 API 兜底	固定成本充分摊薄，且峰值弹性仍有价值

四、第四步：别忘了五个非价格变量​

价格之外的决策项：数据合规（金融、医疗数据出境与第三方处理限制可能一票否决 API）；延迟与可用性（自建可定制调度，API 受制于厂商限流）；模型锁定（重度依赖某家 API 的私有能力，迁移成本会随时间上涨）；技术迭代（API 免费享受模型升级，自建硬件三年后性能落后两代）；缓存红利（API 的前缀缓存折扣普遍在七成以上，系统提示词设计得当能大幅压账单）。

五、结尾建议​

给一个默认决策路径：月账单低于 5 万元一律用 API，把工程人力省下来做产品；账单进入 5 万至 25 万元区间时，先做两件事——用前缀缓存和模型路由（简单请求走轻量模型）把账单压三成，再评估是否有必须自托管的私有模型；超过 25 万元且负载稳定，启动自建评估，但建议自建规模按 P50 负载规划、峰值仍走 API。算力决策的本质是风险定价：API 买的是灵活性，自建买的是规模化单价，看清自己的负载曲线，答案就在曲线里。