AI Compute Cards Wiki Editorial

2025 年 11 月 13 日的百度世界大会上，昆仑芯 M100 与 M300 正式亮相，同时发布的还有天池 256 与天池 512 超节点。这不是百度第一次发布自研芯片，却是第一次以完整路线图的形式，宣告芯片、超节点、集群三层算力体系的未来五年规划。大厂自研芯片由此进入深水区。

十四年积累：从昆仑 1 到 P800​

昆仑芯的历史可追溯到 2011 年百度内部的数据中心加速器研发。2018 年第一代昆仑 1（818-300）发布，基于三星 14nm 工艺与自研 XPU 架构，INT8 算力 260 TOPS；2021 年第二代昆仑 2 采用 7nm 工艺，R300 加速卡提供 128 TFLOPS FP16 与 256 TOPS INT8，150W 功耗，并完成独立融资。2024 年 3 月发布的 P800 是当前部署主力：96GB HBM 显存、2.4 TB/s 带宽、FP16 算力 345 TFLOPS、400W 功耗。据 IDC 数据，2024 年昆仑芯出货 6.9 万片，位居国产 AI 芯片厂商第二，仅次于华为昇腾。

型号	发布时间	关键规格	定位
昆仑 1（818-300）	2018 年 7 月	260 TOPS INT8，14nm	首代云端推理
昆仑 2（R300）	2021 年 8 月	128 TFLOPS FP16，32GB GDDR6	训练推理通用
P800	2024 年 3 月	345 TFLOPS FP16，96GB HBM，2.4 TB/s	万卡集群主力
M100	2026 年上市	面向 MoE 推理优化	大规模推理
M300	2027 年初上市	峰值算力 1000 TOPS 量级（据公开报道）	超大规模多模态训推

M100：为 Token 时代设计的推理芯​

M100 是昆仑芯科技第四代产品，延续自研 XPU 架构理念，针对大规模推理场景做了专项设计：通过革新资源架构大幅提升 MoE（混合专家）模型的推理性能，主打极致性价比。它于 2026 年初进入商业放量期，已交付大客户测试并小规模出货，2026 年 7 月芯片实物在央视报道中首次公开亮相。高盛预计昆仑芯 2025 年销售额约 35 亿元，2026 年有望跃升至 65 亿元。

与 M100 配套的天池超节点同样关键：天池 256 最高支持 256 卡极速互联，卡间互联带宽较上代提升 4 倍、整体性能提升 50%；天池 512 单个超节点即可支撑万亿参数模型训练。百度已点亮昆仑芯三万卡集群，计划将单一集群规模扩展至百万卡级别。

M300 与路线图：每年一代的承诺​

M300 面向超大规模多模态模型的训练与推理，针对视频生成、3D 建模等任务专项优化，据公开报道其峰值算力可达 1000 TOPS 量级，训练效率较通用方案有望提升 3 倍以上，计划 2027 年初上市。后续路线图同样清晰：2028 年天池千卡级超节点、2029 年昆仑芯 N 系列、2030 年百万卡单集群点亮。未来五年，昆仑芯承诺每年推出新产品。

资本层面，昆仑芯已于 2026 年 1 月向港交所提交上市申请，并开启科创板上市辅导，有券商对其估值给出约 440 亿美元的高预期。分拆上市后，昆仑芯将更多以"中立供应商"身份服务外部客户——事实上其外部业务比重已超过向百度内部供货。

小结：大厂自研的正确姿势​

昆仑芯的价值在于样本意义：它证明了大厂自研芯片可以从内部工具成长为独立商业体。M100 承接推理放量的当下，M300 冲刺训练上限的未来，天池超节点补上系统级短板，三层协同构成完整拼图。对于既需要稳定算力供给、又希望绑定长期演进路线的用户，这套"芯片加超节点加云平台"的全栈方案，是国产算力市场里确定性最高的选项之一。

当英伟达的高端芯片被出口管制挡在门外，中国的互联网巨头们被迫回答同一个问题：算力从哪来？百度和阿里给出的答案最彻底——自己造。一家走自研 XPU 架构的渐进路线，一家以 RISC-V 基因押注全栈闭环。2026 年秋，两家的代表作品分别是昆仑芯 R200 和平头哥真武 V900。

一、巨头自研的三种路线​

把国内互联网巨头的芯片战略摊开，大致可分为三种类型：

路线	代表	特征
XPU 架构派	百度昆仑芯	自研指令集架构，从推理切入逐步上探训练
RISC-V + 全栈派	阿里平头哥	自研 CPU（倚天）+ AI 芯片（真武）+ 互联总线（ICN）全栈闭环
租赁过渡派	腾讯	自研（紫霄）同时大规模租用海外算力过渡

海外巨头的对照同样值得一看：Meta 与博通合作自研 MTIA 推理芯片，AWS Annapurna 团队与 NVIDIA 合作开发 NVHBM 定制芯片——"自研 + 深度定制"是大厂绕开通用 GPU 溢价的共同选择。而腾讯则提供了一个反例参照：通过租用 Oracle 旗下 10 万颗芯片获得算力，以租赁模式绕开采购限制。三条路线没有绝对优劣，但百度与阿里的坚持，正在长出最完整的技术资产。

二、百度昆仑芯：从 R200 到 P800 的 XPU 演进​

昆仑芯的底层竞争力在于自研 XPU 架构——从 2018 年的昆仑芯 1 代（14nm）到 2021 年的 2 代（7nm Kunlun Core II），再到今天的 XPU-R 与 XPU-P，指令集始终自主。本站收录的两代代表产品：

昆仑芯 R200（2025 年，XPU-R 架构，推理主力）：

项目	参数
制程	7nm
FP32	32 TFLOPS
FP16	128 TFLOPS
INT8	256 TOPS
显存	16GB / 32GB GDDR6，512 GB/s
TDP	150 W（被动散热）
视频	108 路 1080P 解码 / 27 路编码
接口	PCIe Gen4 x16

150W 的低功耗加多精度配置，让 R200 主打数据中心大规模推理与视频分析场景——这是百度搜索与信息流业务的算力基本盘。

昆仑芯 P800（2024 年，XPU-P 架构，训推一体）：FP16 345 TFLOPS（超越 H20 的 148 TFLOPS）、INT8 820 TOPS、96GB HBM3、2.4 TB/s 带宽、400W、OAM 形态，支持 DeepSeek-V3/R1 671B 满血版单机 8 卡运行，配套天池 256/512 超节点，已交付万卡级集群并实现全自研三万卡集群。昆仑芯科技已于 2026 年 5 月启动科创板 IPO 辅导——从百度内部部门到独立上市，XPU 路线完成了商业验证。

三、阿里平头哥真武 V900：216GB 显存与 50 万卡集群​

2026 年 9 月 22 日云栖大会，平头哥发布新一代训推一体 AI 芯片真武 V900，官方称之为"目前算力性能最强的中国自研 AI 芯片"，量产上云时间较原路线图提前至 2027 年第一季度。

项目	参数
显存	216 GB（超过 B200 的 192GB 与 H200 的 141GB）
片间互联	1200 GB/s（自研 ICN 链路，较 M890 提升 50%）
精度	原生 FP8 / FP4
性能口径	真武 M890 的 3 倍
集群	磐久 AL128 超节点，ICN Switch 扩展至 50 万卡
量产	2027 年 Q1 上云
软件	T-Head SAIL 全栈

与 M890 一致，平头哥未公布绝对 FLOPS、制程与 TDP——业界推测由中芯国际制造，官方未证实。但结构性的信息已经足够：216GB 显存直指大模型时代的"内存墙"，1200 GB/s 片间互联对标 NVLink 量级拆解"通信墙"。真武系列的代际节奏同样清晰：810E（96GB/700 GB/s）→ M890（144GB/800 GB/s，GP9A 超节点实例已于 8 月上线，国内首个跑通超 2 万亿参数大模型的超节点形态算力）→ V900 → J900（2027 年 Q3，架构突破性创新）。截至 2026 年 9 月，真武系列已服务超 650 家企业客户。

四、ICN 总线与倚天 CPU：全栈闭环的最后一块拼图​

真武 V900 最大的想象空间不在单芯片，而在 ICN 互联总线构建的全栈闭环：ICN Switch 让 Scale-Up 域内带宽完全对称、原生内存语义与统一编址；磐久 AL128 超节点把真武 V900、ICN Switch、磐脉智能网卡、镇岳 SSD 主控全部收进一套算-存-网协同体系，单一集群可扩展至 50 万卡——这个目标直指 NVIDIA Rubin Ultra NVL576 的规模层级。

同期公布的倚天 CPU 路线图补上了 CPU 侧的拼图：2027 年推出倚天 720/730，其中倚天 730 首次采用全自研微架构，SPECint2017 单核性能（每 GHz）达到倚天 710 的 1.4 倍；倚天 750 支持自研 ICN 总线，实现 CPU 与真武 AI 芯片直连。至此，"倚天 CPU + 真武 AI 芯片 + ICN 网络"的全栈闭环成型——阿里成为国内唯一在 CPU、AI 芯片、互联协议三层都实现自研并互操作的云厂商。

五、对照与启示：自研是巨头的长期主义​

把百度与阿里放回全球坐标系：Meta×博通 MTIA、AWS×NVIDIA NVHBM 说明自研 + 定制是全球巨头的共同选择；腾讯租用 Oracle 10 万颗芯片则展示了"买不到就租"的过渡形态。但中国的特殊性在于出口管制的硬约束——通用 GPU 的获取不确定性，让自研从"降本选项"变成了"生存选项"。百度用 XPU 架构证明渐进路线的可持续，阿里用 RISC-V 基因 + ICN 总线证明全栈闭环的可能性。

小结​

昆仑芯 R200 与真武 V900 分别代表了互联网巨头自研芯片的两个时态：R200 是"现在时"——150W 低功耗推理卡稳定承载着百度的核心业务；V900 是"将来时"——216GB 显存、50 万卡集群与 2027 年 Q1 量产的承诺，瞄准的是数万亿至十万亿参数模型的算力底座。一种路线靠架构自主渐进上探，一种路线靠全栈闭环规模突围，两者共同指向同一个结论：中国互联网巨头的算力命门，正在从采购谈判桌转移回自己的设计图纸。2027 年，当 V900 与倚天 730 如期上云、昆仑芯 R300 落地，这场自研竞赛的下半场才真正开始。

过去三年，模型参数增长了 240 倍，集群规模扩大了 10 倍，而互连带宽只提升了 2 倍——Lightmatter 创始人 Nick Harris 用这组数字解释为什么光必须进入 AI 集群。

为什么是现在：电互连的"海岸线"困境​

现代 AI 芯片的全部 I/O 都挤在裸片边缘，业内称之为"海岸线"（shoreline）限制：裸片面积在变大，边缘周长的增长却远跟不上 I/O 需求。同时，电信号的传输距离与带宽密度受物理规律约束，scale-up 域被锁死在单机架范围内，GPU 集群大量时间在等待数据。Lightmatter 的核心思路是：用光子取代铜线，并把光 I/O 从"边缘"搬到"整个裸片表面"——所谓的无边 I/O（edgeless）架构，让带宽随面积而非周长扩展。

三种进入方式：光源、共封装、光子中介层​

Lightmatter 的产品矩阵正好对应光进入集群的三条路径：

产品	形态	关键规格	状态
Guide 光引擎	大规模光子光源（VLSP）	16 波长，单光纤 800G，波长精度正负 20GHz	已发布
Passage L20	共封装光学入门方案	聚合带宽 12.8 Tbps，可插拔密度 4 倍	2026 年上市
Passage L200 与 L200X	3D 共封装光学（CPO）	32 至 64 Tbps 双向带宽，320 个 SerDes，单光纤最高 1.6 Tbps	2026 年上市
Passage M1000	3D 光子中介层超级芯片	114 Tbps 总光带宽，4000 平方毫米，256 根光纤，1.5kW 供电	2025 年夏季推出

三条路径解决的问题不同。Guide 光引擎为整个光子产业提供稳定光源，是生态层面的布局；L200 系列瞄准交换芯片与下一代 XPU 的共封装，用 UCIe 标准接口实现芯片粒集成，与 Alphawave 合作提供 SerDes IP；M1000 则最为激进——它是一块可重构波导网格的三维光子中介层，让数千颗 GPU 进入同一互连域，据称可将万卡级集群的 scale-up 域扩大 8 倍，万亿参数 MoE 模型的训练时间缩短约 2.7 倍。

资本与产业风向​

Lightmatter 2017 年从 MIT 分拆而来，2024 年 10 月完成 4 亿美元 D 轮融资，估值达 44 亿美元，累计融资 8.5 亿美元，是硅光赛道估值最高的公司之一。制造侧与 GlobalFoundries（Fotonix 硅光平台）、台积电、Tower、Amkor、ASE 等深度合作。

值得注意的行业信号是：2026 年，Marvell 宣布以约 55 亿美元收购硅光初创 Celestial AI（据公开报道），大厂开始用并购押注光互连——这与博通在 CPO 上的持续投入相呼应。光互连已从论文选题变成 AI 基础设施军备竞赛的一环。

小结与建议​

光子不会取代电子计算，但它正在接管计算之间的高速公路。对云厂商与 AI 数据中心规划者，建议关注三个节点：其一，Passage L200 的 2026 年量产进度，共封装光学是短期内最现实的落地形态；其二，M1000 级光子中介层能否真正进入 XPU 设计流程；其三，UCIe 等开放标准与光互连的融合程度。互连正在成为 AI 集群的第一性约束，光进群的速度，可能决定下一代超大规模训练的经济性。

十年前一个标准机柜 5-10kW，风冷绰绰有余；今天 Vera Rubin NVL72 约 180kW，AMD Helios 机架 225-245kW，下一代 Rubin Ultra NVL576 更是直指 600kW。散热从"机房辅助工程"升格为"AI 算力的第一性约束"，一场从风冷到液冷的革命已不可逆。

为什么风冷在 100kW+ 机柜面前失效​

风冷的物理极限很好理解：空气比热容小、密度低，带走同样热量需要的体积流量巨大。机柜功耗超过 100kW 后，风冷会同时撞上三堵墙：

1. 风量墙：单机柜 100kW 需要的冷风量超出地板下送风与机柜前门的物理供给能力，冷热气流短路、局部热点不可避免；
2. 噪音与能耗墙：暴力风扇转速拉满，风扇功耗可占整机 10% 以上，机房噪音远超职业健康标准；
3. 芯片密度墙：单卡 TDP 已从 H100 的 700W 涨到 Rubin R200 的 1800-2300W——这个量级的芯片，散热器与芯片之间的空气层本身就是绝热层，风冷在物理上无法把 2000W 从 die 表面带走。

结论很直白：当单卡功耗突破千瓦级、机柜突破百千瓦级，液冷不再是选项，而是必需品。NVIDIA 对 Rubin R200 的官方口径就是四个字——必须液冷。

机柜功耗演进：五年 100 倍的狂飙​

平台	机柜功耗	散热方式
传统服务器机柜	5-15 kW	风冷
GB300 NVL72	~140 kW	液冷为主
Vera Rubin NVL72（VR200）	~190-230 kW	全液冷
Rubin Ultra NVL576	~600 kW	全液冷 + 新一代供电

这条曲线（Thunder Compute 汇总口径）解释了为什么整个产业链都在围绕散热重构：机柜每上一个台阶，供配电、冷却水路、机房承重全部要重新设计。值得一提的是，散热还有"另一种解法"——华为昇腾 960 超节点用 NPO 光互连替代 4.8 万颗 800G 光模块，直接省下 550kW：最好的散热，有时是不产生这份热量。

技术梯队：冷板、浸没式与侧门冷却​

液冷按冷却介质与发热元件的距离分为三档：

技术方案	原理	散热能力	改造成本	成熟度
冷板液冷	冷水板贴住 GPU/CPU 等高热元件	单柜 100-300kW	中	主流量产方案
侧门冷却（Rear Door HX）	机柜后门内置水冷换热器冷却排风	单柜 50-150kW	低	过渡方案
浸没式液冷	整机浸入介电液体	极高，且可回收余热	高	特定场景试点

当前产业主流是冷板液冷：GPU、CPU 等热源元件用冷板覆盖，其余内存、硬盘仍靠风冷辅助，形成"液冷为主、风冷兜底"的混合形态。它的优势是可以在现有服务器形态上渐进改造，且不改变元器件可维护性。浸没式散热能力天花板最高、PUE 可逼近 1.05，但介电液体成本、服务器浸入后的可维护性与承重要求，使其仍局限于特定高密度场景。侧门冷却则是风冷机房"续命"的过渡选项。

50V 直流母线与液冷快速接头：工程细节里的魔鬼​

散热革命从来不只是"换水冷板"，它牵动整机柜的供电与水路重构。AMD Helios 机架的工程细节最具代表性：

• 44OU ORW 双宽机架：采用 Open Rack Wide v3 标准，机架宽度加倍，为 72 颗 MI455X + 18 颗 EPYC Venice 留出空间；
• 18 个计算托盘 + 6 个交换托盘：计算与网络托盘分层布置，托盘化设计让故障节点可整体抽出更换，水路随托盘断开；
• 液冷快速接头：每个托盘使用免工具快速接头，拔插自动密封不漏液——这是液冷能否规模化运维的关键：机房不可能为换一张卡而整体排水；
• 50V 直流母线：整机柜采用 50V 直流配电架构，替代传统多级 AC-DC 转换，减少变换级数、提升供电效率，与 NVIDIA 侧的 800V HVDC 演进方向殊途同归；
• 重量超 7000 磅（约 3.2 吨）：装满冷却液与 72 颗 GPU 的机架对机房楼层承重提出全新要求，液冷机柜的"体重"本身就是部署约束。

Helios 机柜 TDP 225-245kW，与 Vera Rubin NVL72 的约 180kW 处在同一量级——头部厂商已默契地收敛到"百千瓦级液冷机柜 + 直流母线供电"的新范式。

功耗-散热-电力：三级约束链​

机柜功耗狂飙的尽头是电网。当前 AI 数据中心面临一条层层传导的约束链：

芯片功耗 → 机柜散热能力 → 机房电力容量 → 区域电网供给。

• 电力缺口：部分新建数据中心等不及电网扩容——Oracle 用燃气卡车"运电"应急；戴尔与日本 Jera 合作投资 150 亿美元在东京建设 400MW 离网 AI 数据中心，自含燃气电厂，计划 2028 年运营。算力需求已快到"自己发电"的地步；
• 联盟与标准：AEMA（电网响应联盟）推动数据中心参与电网调峰响应；NVIDIA 则以 DSX 平台展示能效路线——同功率下 token 吞吐提升 24%、每瓦性能提升 23%，证明"省电"的最前沿其实在芯片与系统层；
• 散热的边界：每一瓦耗电最终都要变成一瓦热，被冷却系统搬运到室外。PUE（总耗电/IT 耗电）每降 0.1，就意味着数千千瓦的冷量系统节省——这也是为什么液冷的 ROI 不能只算电费。

三级约束环环相扣：电网约束机房选址，机房电力约束可部署机柜数，散热能力约束单机柜能塞进多少卡——最终都折算成你能买到的算力总量。

给部署方的建议​

1. 按液冷标准规划新机房：新建设施直接按 150kW+/机柜的液冷密度设计承重、水路与管井，避免两年后推倒重来；
2. 冷板优先，浸没观望：冷板液冷生态与运维成熟度最高；浸没式适合高密度推理等特定负载，不建议作为通用方案首批落地；
3. 关注直流供电架构：评估机柜级 50V 直流母线或更高压 HVDC 方案，转换级数越少，长期电费与可靠性收益越大；
4. 把 PUE 纳入采购决策：本站的 TCO 计算器支持设置 PUE 参数，输入机柜功耗与 PUE 后即可模拟五年电费差异——液冷机柜贵出来的那部分钱，往往两三年内就会被电费差价抹平；
5. 别忽略"减热"路线：光互连（如 NPO 省电 550kW）、更高能效芯片（每瓦性能提升 23% 的系统级优化）同样是散热压力的解药，买算力时把系统能效纳入比价。

小结​

AI 机柜功耗从 100kW 冲向 600kW 的曲线，把散热从幕后推向台前。冷板液冷成为主流范式，50V 直流母线与快速接头定义了新一代机柜工程标准，而电网约束则把战场延伸到能源侧——燃气电厂进园区、调峰联盟成立、每瓦性能成为核心 KPI。未来的 AI 算力竞争，本质上是"每瓦 token"的竞争：谁能更高效地把电变成热、再把热搬走，谁就能部署更多算力。

"月处理 10 亿 token，该买卡还是调 API？"这个问题的答案取决于四个变量：token 量、模型档位、利用率、以及隐性工程成本。本文给出一套可以直接代入自己数据的计算框架。

一、第一步：把 API 账单算清楚​

以 2026 年公开价格为基准。国产旗舰档：DeepSeek V3.1 输入约 2 元、输出约 8 元每百万 token；GPT-4o 级别约 2.5 美元输入、10 美元输出；轻量档模型（GLM-4 Flash、Qwen-Turbo 类）低至几毛钱每百万 token。由于输出单价比输入高 2 至 5 倍，估算时按"输出 token 为主"计费更接近真实账单。

一个实用换算：典型对话场景每次请求约 800 输入加 400 输出 token，用 DeepSeek 级旗舰模型，10 万次请求约 45 至 50 元人民币；用 GPT-4o 级模型约 300 元上下；用轻量档模型不到 10 元。先把你业务的月请求量和每次 token 数估出来，API 月账单基本就落定了。

二、第二步：把自建成本拆开​

自建的总成本由四块组成：

1. 硬件摊销：按三年直线摊销。参考价：8 卡 4090 服务器约 25 万至 35 万元，折合每月约 0.7 万至 1 万元；单卡 4090 整机约 2 万至 2.5 万元，每月约 600 至 700 元。
2. 电力与机房：8 卡 4090 满载约 2.5kW，按工业电价加制冷 24 小时运行，每月电费约 2,000 至 4,000 元；托管机房则按机柜计费，每月 3,000 至 8,000 元。
3. 人力：这是最容易被漏掉的项。一人兼职维护按每月 0.5 至 1 个人力成本计，全职 MLOps 每月 2 万至 4 万元。小规模自建的账常常"算得过来，养不过来"。
4. 闲置风险：利用率不足时，固定成本照付。

三、第三步：算平衡点​

一个可以直接套用的算例。假设业务每月处理 50 亿输出 token，用 DeepSeek 级旗舰 API，月账单约 4 万元（输出 8 元每百万乘 50 亿，加输入部分合计约 4 万至 6 万元）。若自建：部署开源同档模型需要 8 卡 H100（整机约 180 万至 240 万元，月摊销 5 万至 7 万元），加上电费与人力，月固定成本约 7 万至 10 万元——API 明显更便宜。

换成轻量档模型（输出约 1 元每百万 token）：同样 50 亿 token 月账单仅约 5,000 至 8,000 元，自建 8 卡 4090（月综合成本约 1.2 万至 1.5 万元）反而更贵——此时 API 依然是赢的，除非你的模型是精调过的私有模型，API 侧没有对等选项。

什么时候自建赢？三个条件叠加时：月 token 量达到百亿级以上、有私有微调模型必须自托管、利用率能稳定超过六成。以 8 卡 4090 承载 7B 至 14B 级量化模型为例，满负荷月吞吐可达数百亿 token，摊薄后每百万 token 成本可低至 0.1 元以内，远低于任何 API。

月 token 规模（输出口径）	API 月成本（旗舰档）	推荐路线	理由
低于 10 亿	低于 1 万元	纯 API	自建固定成本无法摊薄
10 亿至 50 亿	1 万至 6 万元	API 加缓存优化	用前缀缓存与轻量模型路由降本
50 亿至 200 亿	6 万至 25 万元	测算后混合	平衡区间，取决于模型档位与利用率
超过 200 亿	25 万元以上	自建为主 API 兜底	固定成本充分摊薄，且峰值弹性仍有价值

四、第四步：别忘了五个非价格变量​

价格之外的决策项：数据合规（金融、医疗数据出境与第三方处理限制可能一票否决 API）；延迟与可用性（自建可定制调度，API 受制于厂商限流）；模型锁定（重度依赖某家 API 的私有能力，迁移成本会随时间上涨）；技术迭代（API 免费享受模型升级，自建硬件三年后性能落后两代）；缓存红利（API 的前缀缓存折扣普遍在七成以上，系统提示词设计得当能大幅压账单）。

五、结尾建议​

给一个默认决策路径：月账单低于 5 万元一律用 API，把工程人力省下来做产品；账单进入 5 万至 25 万元区间时，先做两件事——用前缀缓存和模型路由（简单请求走轻量模型）把账单压三成，再评估是否有必须自托管的私有模型；超过 25 万元且负载稳定，启动自建评估，但建议自建规模按 P50 负载规划、峰值仍走 API。算力决策的本质是风险定价：API 买的是灵活性，自建买的是规模化单价，看清自己的负载曲线，答案就在曲线里。

模型上下文窗口每翻一倍，硬件的隐形成本就翻着倍地涨。预训练计算量的平方增长还算显性，真正卡脖子的是注意力机制带来的 KV Cache：它随上下文长度线性膨胀，随并发数再乘一遍。要读懂长上下文的硬件账本，得从每 token 的 KV 开销算起。

KV Cache：线性膨胀的隐形成本​

自回归解码时，注意力要回看全部历史 token，历史位置的键值向量必须缓存下来。每 token 每层的 KV 开销等于 2 乘以 KV 头数乘以头维度乘以精度字节数，再乘层数。一个 70B 级模型若采用传统多头注意力，单条 128K 上下文的 KV Cache 可以膨胀到几十 GB；并发 16 路，几张 H100 都不够放。这就是长上下文推理服务成本居高不下的结构性原因。

第一轮减负来自注意力结构本身。分组查询注意力（GQA）让多个查询头共享一组 KV 头，KV 开销直接砍掉数倍，如今几乎是长上下文模型的标配。DeepSeek 的 MLA 走得更远：把键值投影到低秩潜空间，缓存的是压缩后的潜向量，据其公开技术报告，KV 显存占用相比传统方案下降了一个数量级，这为 DeepSeek 系列的高并发长上下文服务提供了硬件红利。

稀疏注意力：少读多用​

结构压缩之外，更激进的思路是承认一个经验事实：注意力权重高度集中，绝大多数历史 token 对当前生成的贡献可以忽略。稀疏注意力据此只挑选一小部分关键块参与计算——DeepSeek 的原生稀疏注意力（NSA）、月之暗面的 MoBA 以及 Quest 等方法，都在"选块策略"上做文章：按块粒度估计重要性，只把少数高分块读进计算，其余不碰。

对硬件来说，稀疏注意力省的是 HBM 带宽——解码阶段的瓶颈正是 KV 读取，KV 读取量被压掉一个量级，长上下文解码的速度与显存压力同步缓解。但代价也要看清：选块与索引本身有计算开销，稀疏访问模式让 GPU 利用率下降；更关键的是精度风险，"哪块重要"的判断如果失误，模型会漏看关键信息，长文检索类任务最先暴露问题。

方案对照​

方案	KV 显存/读取量	精度风险	实现与迁移成本
多头注意力（MHA）	基线	无	无，但硬件成本最高
分组查询（GQA）	降至数分之一	极低，已充分验证	训练时确定，改动小
MLA 潜空间压缩	下降一个数量级	低，需配套训练	需专有算子支持
稀疏注意力选块	读取量与长度近似解耦	中，依赖选块策略	框架与算子支持要求高

实操建议​

百万级上下文没有银弹，主流配方是三层叠加：模型侧选 GQA 或 MLA 压缩 KV 本体；注意力侧按业务特性选稀疏策略——代码改写、文档问答这类"相关内容集中"的任务收益最大，全局推理类任务要谨慎评估；系统侧用 KV 量化与 CPU/SSD 分层卸载兜底容量缺口。评估时重点跑长文大海捞针与多跳检索测试，稀疏方案的短板往往藏在最需要"看全文"的样本里。

微调和预训练是两种完全不同的算力需求：梯度状态和优化器显存占了全参训练的大头，而 LoRA 把这部分几乎清零。理解这张显存账，你就能明白为什么很多人用一张 4090 就能微调 70B 模型。

一、先算显存账：三种方法的差异有多大​

全参 SFT 时，显存占用约等于参数量乘以 16 至 20 字节：权重（FP16 两字节）加梯度（两字节）加 AdamW 优化器状态（八字节）加激活值。一个 70B 模型全参微调需要约 1,120 至 1,400GB 显存，也就是至少 14 至 18 张 80GB 卡，这是标准 8 卡机的两倍多。

LoRA 冻结主干权重、只训练低秩适配器，可训练参数通常只占总量的千分之一量级，省掉梯度与优化器状态后，显存接近推理水平：70B 模型 FP16 权重约 140GB，8 卡 80GB 机即可全精度 LoRA。QLoRA 再把主干权重量化到 4-bit，70B 模型的权重压到约 35 至 40GB，理论上单张 48GB 卡就能跑，24GB 卡可以处理 13B 级模型。

模型规模	LoRA（FP16 主干）	QLoRA（4-bit 主干）	全参 SFT
7B 至 8B	约 16GB，单卡 24GB	约 6GB，单卡 12GB	约 140GB，双卡 80GB
13B 至 34B	约 28 至 70GB，单卡 80GB 或双卡 48GB	约 9 至 20GB，单卡 24GB	约 280 至 680GB，8 至 10 卡 80GB
70B 至 72B	约 150GB，双卡 80GB 或 8 卡 A800	约 40GB，单卡 48GB 或 80GB	约 1.2TB 起，16 卡以上集群
100B+ MoE	8 卡 141GB H200 起步	8 卡 80GB 逼近极限	不推荐，考虑改用 LoRA

二、五档推荐配置​

第一档：个人开发者与课程实验（0.8 万至 2 万元）。 单张 RTX 4090 24GB 或二手 3090。4090 时租低至 2 至 4 元，先租后买更稳。这档能完成 7B/8B 的 QLoRA 微调和 13B 的 Q4 QLoRA，足够做 RAG 场景的领域适配。

第二档：小型团队微调站（8 万至 15 万元）。 双卡 4090 或单卡至双卡 5090（32GB）。5090 带宽约 1,792GB/s，比 4090 高约七成，同模型生成速度明显更快，适合 13B 至 34B 的 QLoRA 与 7B 级 LoRA。

第三档：企业微调平台（60 万至 120 万元）。 8 卡 A800 二手机或 4 卡 A100 80GB。80GB HBM 显存的价值在于可以把 34B 模型的 FP16 LoRA 放进单卡、70B 的 QLoRA 稳定单卡，省去多卡并行带来的通信与工程复杂度。

第四档：严肃领域模型研发（180 万至 240 万元）。 8 卡 H100 或 H200。H200 的 141GB 大显存让 70B 模型在单机内完成全精度 LoRA 与大批量 SFT，配合 NVSwitch 的机内带宽，训练吞吐优势明显。

第五档：拿不到进口卡的团队（100 万至 200 万元）。 Atlas 800T A2（8 卡昇腾 910B，单卡 64GB），7B 至 70B 的 LoRA 均有成熟案例，配套文档与社区踩坑记录最多，是国产侧微调的默认起点。

三、结尾建议​

三条实用结论：第一，能 QLoRA 就不要全参 SFT——绝大多数领域适配任务，QLoRA 的效果与全参 SFT 差距有限，而成本差一个数量级；第二，显存买到"模型加两成余量"即可，微调对带宽不敏感，没必要为带宽溢价买单；第三，微调任务天然是短周期、突发型的，如果月均利用率低于三成，租赁比自建划算得多——4090 租一张跑一个月不过千余元，先把实验矩阵跑完，再决定要不要买卡。

2023 年 11 月的 Ignite 大会上，微软一口气发布了两颗自研芯片：Cobalt 100 CPU 与 Maia 100 AI 加速器。前者进展顺利，后者则成为观察云厂商自研芯片难度的一个绝佳样本。

架构与规格：一块围绕数据中心设计的 ASIC​

Maia 100 是一颗大型 ASIC：台积电 5nm 工艺加 CoWoS-S 封装，裸片面积约 820 平方毫米，集成 1050 亿晶体管，是当时该工艺节点上最大的芯片之一。核心规格如下：

规格项	Maia 100
制程与封装	台积电 5nm，CoWoS-S
裸片面积	约 820 平方毫米
晶体管数量	约 1050 亿
内存	64 GB HBM2e，总带宽 1.8 TB/s
片上 SRAM	数百 MB 量级，用于暂存 KV cache
热设计功耗	支持 700W，云端预配置约 500W
网络接口	12 个 400GbE，自定义 RoCE 类以太网协议
数据格式	FP32、BF16、FP8 及微软主导的 MX 微缩放格式

值得注意的是内存选择：Maia 100 采用的是偏成熟的 HBM2e 而非更新的 HBM3，反映出首发产品在供应链成熟度与成本之间的保守权衡。张量单元之外，芯片还配有超标量向量处理器与异步 DMA 引擎，可以在后台预取数据，让计算与搬运充分重叠；多层 Mesh 片上网络则把大矩阵（Prefill）与小矩阵（Decode）流量分开调度，以保住高 QPS 下的尾延迟。

系统级创新：真正的亮点在芯片之外​

Maia 100 最有价值的部分其实是芯片之外。微软没有沿用标准机架，而是设计了更宽的定制机架，并开发了一套"侧挂"（Sidekick）液冷系统——一个类似散热器的独立机柜，把冷却液循环到贴在芯片表面的冷板上。这套闭式液冷架构让微软可以在既有数据中心里部署高功耗 AI 服务器，这是"数据中心即一台计算机"思路的典型体现。

软件侧，微软选择拥抱开源生态：Maia SDK 与 PyTorch、ONNX Runtime 深度集成，并引入 OpenAI 的 Triton 语言降低算子开发门槛。开发路径也很务实——Copilot、Bing 等内部业务优先部署，企业客户则继续在 Azure 上租用英伟达与 AMD 的旗舰实例，形成"自研加开放"的双轨制。

复盘：三条教训​

第一，落地速度慢于预期。据公开报道，Maia 100 从发布到规模化商用经历了远超计划的爬坡期，内存选型偏旧、软件生态从零起步都是原因；微软不得不在 2025 年 11 月的 Ignite 上推出接续产品 Maia 200 以追赶竞品。第二，自研芯片无法脱离客户的真实负载迭代——微软虽与 OpenAI 有深度协同设计，但随着 OpenAI 转向与博通等伙伴自研，Maia 的验证闭环被削弱。第三，系统级创新（液冷、机架、网络）虽然不如芯片参数吸睛，却决定了能否真正部署。

小结​

Maia 100 是一份诚恳的"第一版答卷"：架构不激进、内存不冒进、软件借力开源，赌的是系统级整合能力。它没有颠覆什么，但它验证了一条路——云厂商的自研芯片不必一击必胜，而要在迭代中建立自己的设计能力与供应链话语权。这个教训对所有正在启动自研芯片项目的团队都适用。

过去二十年，基础设施的调用方一直是人或人写的程序。现在多了一类新调用方：AI Agent。它们通过 MCP（Model Context Protocol）等标准协议自动发现并调用工具与算力，请求模式与人类完全不同。这不只是协议新闻，而是运维模型的变迁。

MCP 为什么值得基础设施团队关注​

MCP 由 Anthropic 于 2024 年 11 月开源，基于 JSON-RPC 定义了 Agent 发现与调用外部能力的统一接口，核心原语包括可调用的工具、可读取的资源与提示模板。它的扩张速度在基础设施协议史上罕见：据公开数据，SDK 月下载量从发布之初的约 200 万增长到 2026 年 3 月的约 9700 万，仅用 16 个月；活跃公开服务器超过一万个；2025 年 12 月 Anthropic 将其捐赠给 Linux 基金会旗下的智能体 AI 基金会，OpenAI、Google、微软、AWS 等成为共建成员——协议已从厂商项目变成行业公共设施。

对基础设施团队，这意味着 Agent 调用正在成为新的主流流量：一个采购 Agent 会连续调用检索、数据库与推理服务，一个编码 Agent 会密集触发构建与部署工具。它们的请求模式是机器节奏——高频、突发、无耐心、重试激进。

维度	人类调用方	Agent 调用方
请求节奏	白天为主，人工间隔	全天候，机器节奏，爆发式
重试行为	失败后通常人工确认	毫秒级自动重试，容易放大故障
请求路径	单次交互为主	长链条多跳，一次任务数十次调用
成本归因	按用户或团队	按任务与 Agent 身份，需新账本
权限模型	长期凭证加角色	需任务级授权与自动过期

运维要接住的三件事​

第一，容量与限流。Agent 的重试风暴会在下游已经过载时雪上加霜，限流必须放在 Agent 身份维度而不是 IP 维度；对推理 API 的调用要支持任务级预算上限，防止一个失控循环把算力预算烧穿。第二，可观测性。Agent 的调用是长链条，需要把任务 ID 贯穿到每次工具与模型调用，才能回答"这次任务花了多少钱、慢在哪一跳"。第三，安全。协议生态已经出过真实事故：2025 年 9 月，一个每周下载约 1500 次的第三方 MCP 服务器被发现被植入恶意代码，把所有外发邮件密送给攻击者；据公开统计，2025 年围绕 MCP 生态披露的安全漏洞超过 14 个。提示注入、过度授权与仿冒服务器是当前三大威胁向量，企业侧应审计服务器来源、最小化工具权限，并优先使用支持 OAuth 2.1 与会话级授权的新版规范。

从协议到算力调度​

再往远看一步：当 Agent 成为一等调用方，"算力即服务"的界面也在变化。Agent 不关心你后面是 H100 还是国产推理卡，它关心 SLA 与价格——这意味着推理平台需要暴露类似 MCP 工具描述那样的标准化能力清单（模型、延迟档位、单价），供 Agent 在线比价与调度。多模型路由、按 SLA 分层的推理池，会从人工配置变成 Agent 自动协商。

写在最后​

给基础设施团队三条建议：第一，现在就为 Agent 流量建立独立的身份、限流与计费维度，别等它混进人类流量里无法拆分；第二，接入 MCP 生态时把服务器来源审计与权限最小化当成上线门槛，协议标准化不等于安全标准化；第三，把推理服务的能力与价格接口标准化，准备好被 Agent "自动采购"。下一波流量的增长曲线，将由不会睡觉的调用方画出。

买推理卡时，"显存多大"和"带宽多快"是两个经常打架的问题。有人为了 192GB 大容量牺牲带宽，有人反过来。要选对，得先弄清它们各自卡住的是哪一段。

解码阶段：带宽为王​

大模型自回归解码时，每生成一个 token 都要把全部权重从显存读一遍。以 70B 模型 FP16 部署为例，权重约 140GB；H100 的显存带宽 3.35TB/s，意味着单个解码步的理论下限约 42 毫秒，对应单流不超过约 24 tokens/s。此时矩阵运算本身只占极小一部分时间——算术强度太低，大量算力单元处于"等数据"状态。

这就是为什么推理被称为带宽受限负载：加多少 FLOPS 都没用，瓶颈在搬运。大 batch 是经典的缓解手段——一批请求共享同一次权重读取，把每次搬运摊给更多 token，算术强度随之上升，系统逐渐转向算力受限。代价是排队延迟变长，吞吐与延迟开始互相拉扯。

容量：决定"装得下多少并发"​

带宽决定单条请求跑多快，容量则决定同时服务多少条请求。显存里要同时放下三样东西：模型权重、KV Cache（随并发数与上下文长度线性增长）、以及运行时开销。70B FP16 权重约 140GB，在 80GB 的 H100 上单卡放不下，只能拆两卡或量化到 4bit；而 KV Cache 在长上下文场景下动辄吃掉几十 GB，直接挤压可用的并发额度。

容量不足时只能做模型切分，切分带来的通信开销进一步拉低有效带宽；带宽不足时则只能降速。两者都会触发，只是触发条件不同：小模型高并发先撞容量，大模型单流先撞带宽。

主流规格对照​

芯片	显存容量	显存带宽	同代定位
H100 80GB	80GB	3.35TB/s	Hopper 基线
H200	141GB	4.8TB/s	同款计算芯片，纯内存升级
AMD MI300X	192GB	5.3TB/s	大容量路线
AMD MI325X	256GB	6TB/s	容量再加码（据公开规格）
NVIDIA B200	192GB	8TB/s	带宽与容量双升级

H200 是最直观的案例：它与 H100 用同一颗计算芯片，算力完全相同，仅把 HBM3 换成更大更快的 HBM3e，推理收益却立竿见影——因为负载本来就卡在内存子系统上。这也是选型时"同算力不同内存配置、价差悬殊"现象的根源。

实操建议​

先定义业务形态，再定侧重：单流低延迟（对话、Agent）优先带宽，够用的容量即可；高并发吞吐（批量 API）优先容量，用大 batch 摊薄权重读取；长上下文服务两者都要，容量缺口考虑 KV 量化与分层卸载。最后提醒一句：带宽和容量都是理论值，实际有效带宽受访存模式与软件栈影响很大，选型前务必用自家模型和框架实测一遍。