AI Compute Cards Wiki Editorial

今天每一款 AI 芯片的规格表上，数字最大的那一行几乎都来自专门的矩阵计算单元，而不是通用核心。这些单元叫法各异——Tensor Core、MXU、Cube Core、MME——但都指向同一个设计判断：神经网络计算值得用专用电路来做。

起点：通用核心喂不饱神经网络​

深度学习计算的主体是矩阵乘法，模式极其规整：同样的乘加操作重复亿万次。早期的方案是在通用 GPU 核心上跑这些运算，效率不错但浪费——取指、调度、分支预测这些通用能力对矩阵乘毫无贡献。转折出现在 2016 到 2017 年：Google TPU v1 用脉动阵列（MXU）做 INT8 推理，数据在阵列中流动、逐拍被计算单元"接力"处理，省去了反复访存；NVIDIA 则在 Volta 架构中引入第一代 Tensor Core，把小型矩阵乘加指令下沉到硬件，每时钟周期可完成一组 4 乘 4 矩阵片段运算。矩阵计算从此有了专属电路。

Ampere 到 Hopper：精度阶梯与异步化​

NVIDIA 的演进路线最具代表性：

架构（年份）	Tensor Core 代际	关键能力
Volta（2017）	第一代	FP16 矩阵运算独立于 CUDA 核
Ampere（2020）	第三代	TF32 档位、2:4 结构化稀疏翻倍
Hopper（2022）	第四代	FP8、Transformer Engine 自动切精度、异步大块矩阵指令
Blackwell（2024）	第五代	FP4 微缩格式、attention 专项优化

这条脉络有两条主线：一是精度不断下探，FP16 到 FP8 再到 FP4，每一档都把单次运算的能耗和面积砍掉一大截，配套的格式管理机制（如自动缩放）保证精度可接受；二是执行方式从同步走向异步，矩阵指令直接在显存与计算单元之间搬运大块数据，减少寄存器中转，让算力单元的填充率更高。

不是一家的事：矩阵引擎的多种流派​

矩阵单元并非 NVIDIA 独有。Google TPU 的 MXU 是脉动阵列的代表，几代 TPU 始终坚持这一架构，用规整的数据流换取高能效。华为达芬奇架构的 Cube Core 走"三维立方运算"路线，一条指令完成一整块矩阵乘，Ascend 系列延续至今。寒武纪 MLU 核心同样以矩阵和向量单元为主体。Intel Gaudi 系列则把大矩阵引擎（MME）与可编程 VLIW 核搭配，一个负责稠密 GEMM，一个负责其余算子。各家实现细节差异很大，但方向一致：让矩阵乘法拥有专属的、尽可能宽的数据通路。

小结​

十五年演进可以压缩成一句话：算力单元从"通用核心顺便做矩阵"走向"整颗芯片围着矩阵引擎转"。精度下探仍有空间，但物理极限渐近，下一阶段的竞争点正在从单单元峰值转向数据搬运效率——显存带宽、片上 SRAM、互连拓扑。选型时看算力单元，不要只看峰值 FLOPS，要看它背后的数据供给能力：算得快的前提是喂得快。

当几乎所有 AI 芯片公司都在对标英伟达时，Jim Keller 的态度是："英伟达做什么，我们就反着来。"Blackhole 就是这句话的产物。

架构：一颗"独立的 AI 计算机"​

Blackhole 是 Tenstorrent 第三代加速器，台积电 6nm 工艺，2024 年 8 月在 Hot Chips 上首次披露，2025 年 4 月的开发者大会上正式开卖。它最特别的地方在于片上集成了三种计算资源：

规格项	Blackhole p100a	Blackhole p150a 与 p150b
Tensix 核心数	120（启用）	140
大 RISC-V 核心	16 个 SiFive X280	16 个 SiFive X280
片上 SRAM	180 MB	210 MB
显存	28 GB GDDR6	32 GB GDDR6
内存带宽	448 GB/s	512 GB/s
以太网扩展	无	4 个 800G QSFP-DD 接口
整卡功耗	300W	300W
定价	999 美元	1399 美元

每个 Tensix 核心内部又包含 5 个"小 RISC-V"核心、张量引擎、向量引擎与本地 SRAM；算上各处控制器，全片共有 752 个小 RISC-V 核。而那 16 个大核（SiFive X280）强大到可以直接在加速卡上启动 Linux，充当设备内主机——Blackhole 因此不需要独立 x86 主机即可工作。扩展方式同样不走寻常路：不用专有交换机，10 条 400G 以太网链路直接把多颗芯片连成网格。

开源：商业模式本身就是技术战略​

Tenstorrent 在开发者日当天把整个软件栈推上了 GitHub：底层运行时 TT-Metalium、神经网络库 TT-NN、编译器前端 TT-Forge 全部开源，电路原理图公开，甚至为提交内核代码的开发者设立了 500 至 5 万美元的悬赏。CI 日志与性能看板对所有人可见。

这套打法背后是清晰的商业算盘：其一，AI 集群物料成本已高达数亿美元，专有固件与非披露协议把研究者挡在门外，开源降低了最顶尖人才的试用门槛；其二，Tenstorrent 同时出售 RISC-V CPU IP（面向服务器级市场的 Ascalon 内核已向首批客户授权早期 RTL），硬件与 IP 两条腿走路；其三，据公开报道，公司已累计融资约 10 亿美元，支撑其每年迭代的目标。产品矩阵从 999 美元的开发卡、11999 美元的 QuietBox 工作站（4 颗 Blackhole）到集成 32 颗芯片的 Galaxy 服务器，覆盖了从研究生到主权 AI 的所有层级。

风险与观察​

Blackhole 用 GDDR6 替代 HBM 是成本与开放性的取舍，带宽密度明显低于同级 GPU；软件栈虽开源，成熟度与 CUDA 仍有差距；数千卡规模的公开演示也还在路线图上。Keller 自己也承认："所有只押一件事的人都会失败"——所以 Tenstorrent 同时卖卡、卖 IP、卖服务器。

小结与建议​

对开发者与研究者而言，Blackhole 是目前门槛最低的"真 AI 芯片"实验平台：999 美元、无需云配额、代码全部可读可改。对行业而言，它验证了 RISC-V 在 AI 加速领域的可行性，也给"去 CUDA 化"提供了一个开源支点。它未必能撼动 GPU 的份额，但它正在培养一代熟悉开放架构的工程师——这或许是比卖芯片更长线的投资。

过去选芯片看 FLOPS，后来大家学会了看显存带宽，现在该学会看第三个数字了：每瓦 Token 数。当机柜功率从 10 千瓦涨到 120 千瓦，电力与散热成了绕不开的第一约束——算力不再稀缺，供电才稀缺。

为什么 FLOPS 不再够用​

FLOPS 衡量的是计算上限，但 AI 芯片的能耗大头往往不在计算：数据搬运——尤其是 HBM 访问——的能耗比同规模运算高出数量级，这是业界公认的"内存墙"另一面。同样标称 1000 TFLOPS 的两颗芯片，若访存效率与互连设计不同，实际每瓦产出的 token 可能差出数倍。此外，token 产出还依赖模型结构、精度档位、batch 大小与软件栈质量，"每瓦 token 数"因此不是一个硬件常数，而是一组条件下的实测结果。

这也解释了厂商能效宣传的口径问题。以公开资料为例：NVIDIA 宣称 GB200 NVL72 机柜在 FP4 推理口径下，相比 H100 空冷基础设施有 25 倍的能效提升——这是厂商在特定负载下的对比数据，选型时应视为上限参考而非承诺值。值得注意的是，这 25 倍里既有芯片架构进步（FP4、新一代矩阵引擎），也有系统级因素（72 卡 NVLink 大域、液冷让算力密度上台阶），拆开看才不至于被单一代际数字误导。

一张对照表：用代理指标先筛一遍​

token 级能效必须实测，但选型初筛可以用"显存带宽功耗比"做代理指标——解码阶段带宽即吞吐上限，功耗即成本下限：

芯片	TDP	显存带宽	带宽功耗比（TB/s 每 kW，按公开规格推算）
H100 SXM	700W	3.35TB/s	约 4.8
H200	700W	4.8TB/s	约 6.9
AMD MI300X	750W	5.3TB/s	约 7.1
NVIDIA B200	1000W	8TB/s	约 8.0

推算显示代际间的真实进步：新平台的每瓦带宽确实在提升，且液冷平台（B200）在功耗上涨四成的同时把带宽功耗比再推高一截。但要强调，这只是一个维度的代理指标，训练场景、大 batch 服务、通信密集负载的能效排序可能完全不同。

把能效算进 TCO​

能效的最终归宿是钱。AI 工厂模式下，收入等于 token 产出乘以单价，而成本里电费与散热是随时间线性累积的部分。完整的算法是：先在相同模型、精度、batch 条件下实测各平台的 tokens 每焦耳；再乘以机房 PUE 与液冷改造成本——GB200 级液冷机柜功率达 120 至 130 千瓦（据公开报道），风冷机房无法直接承载，改造摊销要计入；最后换算成每百万 token 的能源成本。在电力配额受限的地区，"每瓦产出"直接决定同样一笔电力指标能支撑多少业务收入，这比芯片单价重要得多。

小结与实操建议​

能效选型三步走：第一，拒绝跨口径对比，要求供应商用你的模型与负载出实测数据；第二，用带宽功耗比等代理指标快速缩小候选名单，再压测验证；第三，把 PUE、液冷改造、电力供给一起纳入 TCO，而不是只看 GPU 采购价。一句话记住这把新标尺：FLOPS 决定你跑多快，每瓦 Token 数决定你能跑多久、赚多少。

训练选型的本质不是"买最强的"，而是在预算、负载规模、软件生态和供货确定性之间找到平衡点。本文数据均取自本站芯片卡与定价库，帮你按预算分档做出决策。

一、先分级：你的训练负载属于哪一档​

训练负载大致分为三档，档位不同，选型逻辑完全不同：

• 微调 / LoRA：单卡或 8 卡即可完成，7B–70B 模型为主。瓶颈在显存容量与单卡带宽，互联要求低，PCIe 机型甚至二手卡都能胜任。
• 继续预训练 / 领域适配：数百卡规模，需要稳定的多卡互联与成熟的软件栈，容错与断点续训能力开始重要。
• 从零预训练：千卡乃至万卡集群，互联带宽、机架方案（NVL72、Helios、CloudMatrix）和集群软件效率决定成败，预算通常以千万美元计。

二、按预算分档推荐​

预算档位	推荐方案	关键规格	参考单价（站内定价库）
入门微调（数十万元级）	H100 SXM / H200	BF16 1,979 TFLOPS（稀疏）、80GB / 141GB HBM3e、NVLink 900 GB/s、700W 风冷	H100 市场价约 $28,000；H200 约 $38,000
中等规模（数百万元级）	B200 / AMD MI355X	B200：192GB HBM3e、FP8 10 PFLOPS（稀疏）、NVLink 1.8 TB/s；MI355X：288GB HBM3E、FP8 dense 5 PFLOPS、UALink 600 GB/s	B200 约 $42,000；MI355X 官方指导价 $22,000
旗舰预训练（千万到亿级）	B300 Ultra / Rubin R200 / MI455X	B300：288GB HBM3e、FP8 dense 7 PFLOPS；Rubin：288GB HBM4、22 TB/s、NVLink 6 3.6 TB/s；MI455X：432GB HBM4、23.3 TB/s、MXFP4 40.3 PFLOPS	B300 约 $52,000；Rubin NVL72 机柜 350–400 万美元；MI455X 定价未公开（Helios 机柜约 500–550 万美元）
国产合规档	昇腾 910C / 昇腾 950DT / 寒武纪思元690	910C：BF16 800 TFLOPS、128GB HBM2e；950DT：FP8 约 1 PFLOPS、144GB 自研 HiZQ 4 TB/s；思元690：FP16 700+ TFLOPS、196GB HBM3	910C 渠道价超 ¥11 万；950DT 超 ¥25 万；思元690 约 ¥17.5 万

几个要点值得展开：

• 入门档首选 H100/H200 并不落伍。H100 的 BF16 稀疏算力 1,979 TFLOPS、700W TDP 风冷友好，生态最成熟；H200 显存加到 141GB、带宽 4.8 TB/s，微调 70B 级模型更从容。
• 中等规模档 B200 与 MI355X 各有侧重。MI355X 用 288GB HBM3E 和 3nm 制程在显存容量上压过 B200，官方口径 FP8 dense 5 PFLOPS 也略胜，价格还便宜约四成；但 B200 的 NVLink 1.8 TB/s 是 UALink 600 GB/s 的三倍，千卡扩展时差距会显现。
• 旗舰档看机架而不是单卡。B300 Ultra 必须液冷（TDP 1,400W），Rubin R200 的 Vera Rubin NVL72 机柜 FP4 算力约 3.6 EFLOPS、总显存 20.7TB；MI455X 的 Helios 机架 72 卡 31TB HBM4、机柜功耗 225–245kW。这一档的采购单位是"机柜"，还要配套液冷与供电改造。

三、关键参数怎么读​

• FP16/BF16 算力：注意 dense 与 sparse 口径差一倍。H100 的 1,979 TFLOPS 是稀疏值，dense 约 989 TFLOPS；比较时务必统一口径。
• 显存容量：从 H100 的 80GB 到 B300 的 288GB 再到 MI455X 的 432GB，容量决定了能训多大模型、能开多大 batch。训练 70B 模型 FP16 权重本身就要约 140GB，加上优化器状态后通常需要多卡切分。
• 互联带宽：NVLink 4.0（900 GB/s）→ NVLink 5（1.8 TB/s）→ NVLink 6（3.6 TB/s）；AMD 走开放路线的 UALink 600 GB/s；昇腾为 HCCS 784 GB/s 与灵衢 2 TB/s。张量并行通信密集，互联带宽直接决定扩展效率。
• 机架方案：GB200/GB300 NVL72、Helios、CloudMatrix 384 是三家给出的系统级答案。单卡强不等于集群强，采购前要确认整机柜方案、网络与液冷的完整交付能力。

四、软件生态权重：CUDA vs ROCm vs CANN​

• CUDA：十八年积累，算子覆盖最全，从 H100 到 Rubin 全线兼容，迁移成本最低。
• ROCm：AMD 官方口径承认成熟度仍落后 CUDA 约 2–3 年，但开放生态对云厂商和主权 AI 项目有吸引力，MI355X/MI455X 的客户名单里已有 Microsoft Azure、Meta、Oracle 等。
• CANN：昇腾 950 系列配套 CANN Next 提供 CUDA 兼容层，约 80% 的标准 PyTorch 代码仅需配置修改即可迁移；2026 年 10 月 DeepSeek 与华为还联合发布了面向昇腾 950 的开源编程工具与库。

经验法则是：微调档闭眼选 CUDA；中等规模档如果显存需求突出、团队有 ROCm 经验，MI355X 值得评估；合规档则要在选型时就把迁移人力写进预算。

五、供货与价格现实​

2026 年的选型绕不开 HBM：

• 涨价传导：HBM 成本攀升直接推高国产卡报价——昇腾 950DT 渠道指示价已超 ¥25 万（较两个月前上涨 20%–50%），昇腾 950PR 突破 ¥8 万，寒武纪等同期上调 20%–30%。
• 云租是一条现实路径：H100 云租约 $2.00/GPU·小时，B200 约 $5.87/GPU·小时，B300 的 AWS 8 卡实例约 $11.70/GPU·小时（Nebius 口径约 $9.50/GPU·小时）。训练周期短的项目，租往往比买划算。
• 旗舰卡要排队：Rubin R200 已于 2026 年 6 月全面量产，但自建机房用户要到 2027 年一季度才能采购；MI455X 也需到 2026 年下半年至 2027 年上半年才规模爬坡。急用算力，H100/H200/B200 的现货市场仍是主力。

想逐项对比更多型号（包括 Google TPU、Intel Gaudi 4、百度昆仑芯等），请查看站内完整对比表；每张卡的详细规格可进入对应芯片卡页面查看。

小结​

2026 年的训练 GPU 市场第一次出现了"四条路线"：CUDA 旗舰（Rubin/B300）、开放生态（MI355X/MI455X）、推理专用硬件和国产合规方案。选型的顺序应该是：先定负载档位，再按预算筛卡，然后核算互联与机架方案，最后把软件迁移和供货周期计入总成本。单卡峰值参数只讲了一半的故事，剩下的另一半在集群和生态里。

"推理占比什么时候超过训练"曾是个经典预测题，如今它已经有了答案：2026 年，推理算力占比正式过半。真正的悬念变成了——推理时代的算力基建，准备好了吗。

占比反转：数据给出的答案​

多家机构对训练与推理的算力结构给出了趋于一致的判断：

口径	关键数据	来源
全球 AI 负载占比	2024 年训练约六成、推理约四成；2025 年五五开；2026 年训练四成、推理六成	Epoch AI、AMD 公开材料
推理负载占比	从 2023 年约三分之一升至 2025 年约一半，2026 年预计达到三分之二	德勤估算
中国智能算力	2027 年推理占比预计突破七成；2028 年全球推理负载占比约七成三	IDC 预测
AI 云服务支出	2026 年全球 AI 优化型 IaaS 支出约 375 亿美元，推理占比 55%，首次超过训练	Gartner 预测

鼎帷咨询等机构进一步预计，训练与推理负载比将从早期的 7 比 3 演进到 2027 至 2030 年的 3 比 7 甚至 2 比 8。无论采用哪个口径，方向完全一致：算力的重心正在从"炼模型"迁移到"用模型"。

三股力量：服役、深思、智能体​

推理占比跃升由三重动力叠加驱动。第一，模型进入服役期：训练是一次性资本开支，推理是每天持续产生的运营账单——据业界估算，头部对话类产品的推理开销以每天数十万美元计，进入规模化生产后，推理可占模型全生命周期算力成本的八到九成。第二，推理时 Scaling：思维链模型用"内部深思"换取智能，用户看不见的推演 token 同样按价计费，单次请求的算力需求成倍膨胀——模型越会深思熟虑，推理阶段的需求通胀就越厉害。第三，智能体乘数：一次 Agent 任务消耗的 token 从数百跃升到数万，多轮链式思考叠加工具调用，使推理流量呈现碎片化与高波动特征。

中国市场的信号同样鲜明：据公开数据，全国日均 token 消耗从 2024 年初的千亿级跃升至 2026 年 3 月的约 140 万亿，一年半增长约三百倍——需求的斜率比任何预测模型都陡峭。

硬件逻辑的重新洗牌​

占比反转直接改写芯片设计与采购逻辑。训练硬件追求极致性能与集群可靠性，一次训练动辄连续运行数周，故障率必须压到极低；推理硬件的 KPI 则是每瓦 token 数与每百万 token 成本：FP4 与 INT8 级别的低精度成为默认态，显存容量与带宽决定长上下文的经济性，时延与吞吐的权衡成为核心竞争力。这解释了 2026 年推理专用芯片赛道的集体爆发——从英伟达面向推理优化的产品线，到云厂商自研 ASIC 与推理芯片创业公司的融资潮，都在响应同一个结构性信号。

结语：推理时代的真正考题​

推理时代不是某个季度财报里的占比数字，而是一整套产业逻辑的更替：计费从"卡时"转向"token 成本"，采购从"峰值算力"转向"单位经济学"，评测从训练基准转向真实业务负载的端到端表现。可以判断：2026 年是推理占比过半的符号性年份，而 2027 到 2028 年，推理将稳固占据七成以上份额。届时，所有今天围绕训练设计的集群、网络与商业模式，都要回答同一个问题——为推理做好准备了吗。

大家习惯把"扩容慢"归咎于抢不到 GPU，但很多项目卡住的地方其实更靠上游：为一排排机柜供电的大型电力变压器，交付周期已经拉长到两年以上。算力竞赛的下一道闸门，是电网设备。

短缺有多严重​

据 Wood Mackenzie 2025 年报告，美国电力变压器需求自 2019 年以来增长约 116%，发电机升压变压器（GSU）需求更是暴增约 274%，远超本土产能。2025 年美国电力变压器供应缺口约 30%，配电变压器缺口约 10%。价格同步起飞：自 2019 年以来，电力变压器均价上涨约 77%，部分配电变压器品类涨幅接近翻倍。

交期是最直观的指标。大型电力变压器（100MVA 级以上）的交付周期自 2023 年起持续超过两年，2025 年二季度约 128 周（约 2.5 年），GSU 更是达到约 144 周。短缺的根源是结构性的：取向硅钢供应集中、熟练绕线工人短缺、产能扩张周期长达数年——新建一座变压器工厂从动工到满产要 18 至 24 个月，而全球大型变压器制造商不足 20 家。

一张交期对照表​

设备类型	当前典型交期	疫情前参考
中小型干式变压器（5 至 25MVA）	约 12 至 18 个月	4 至 6 个月
中型电力变压器（25 至 100MVA）	约 18 至 24 个月	6 至 12 个月
大型电力变压器（100 至 300MVA）	约 24 至 36 个月	12 个月左右
GSU 及特高压等级（300MVA 以上）	约 36 至 48 个月，个别报价更长	12 至 18 个月
中高压开关柜、断路器	普遍超过 1 年	3 至 6 个月
大容量 UPS / HVDC 电源	据业界经验值，数月至一年以上	数周至数月

对照 AI 数据中心的需求尺度：一座 100MW 的园区通常需要 4 至 6 台大型电力变压器加专用变电站，而全球数据中心正以每年超过 10GW 的速度新增。变压器成了名副其实的"绑定性约束"——GPU 一个季度就能到货，变压器可能要等它两年半。

扩容方的应对策略​

变压器短缺无法绕过，只能提前布局。实践中的有效做法有四条：第一，把电力设备采购从"项目立项后"提前到"用地锁定时"，头部厂商已开始提前三四年锁定产能槽位，通常需要一笔不可退还的订金；第二，多供应商资格认证，北美之外的中、印、欧供应商交期相近但价差可达两到四成；第三，评估翻新与二手设备渠道，经完整测试与翻新的大型变压器可把部署时间压缩到 6 至 12 个月；第四，与电网公司同步启动接入流程，现实中接入排队与变压器制造经常互为前置，串行等待是最坏路径。

UPS 侧的思路类似：与其挤大容量工频机产能，不如评估 HVDC（高压直流）架构——新一代 AI 机柜普遍转向 800V 直流供电，供电链路更短、设备更少，反而降低了在紧缺设备上的暴露面。

写在最后​

给正在规划扩容的团队三条建议：第一，把"电力设备交期"列入项目关键路径，与 GPU 排货同等优先级管理，变压器晚到一天，整座机房就晚一天产生收入；第二，做财务测算时预留设备涨价缓冲，按近年趋势变压器单价每年仍有约一成的上行压力；第三，有条件的园区自建或长租变电站预留容量，把"电网接入"从一次性博弈变成持续资产。算力竞争的上半场是抢卡，下半场是抢电。

LLM 推理引擎已经有了 vLLM 和 SGLang，但它们之上还差一层"服务编排"：批量合并、多模型并发、流水线编排、指标暴露。这一层是直接拿 Triton，还是用 FastAPI 自研？答案取决于团队规模与业务复杂度。

Triton 提供了什么​

Triton Inference Server 是 NVIDIA 开源的推理服务软件，2025 年 3 月起已并入 NVIDIA Dynamo 平台体系（更名为 Dynamo Triton），但社区版仍独立发展。它的核心能力集中在四点：

1. 动态批处理：在服务端把零散请求合并成大批次，客户端零改动，通过 preferred_batch_size 与 max_queue_delay_microseconds 控制吞吐与时延的平衡。
2. 多框架后端：TensorFlow、PyTorch、ONNX、TensorRT、OpenVINO、Python、RAPIDS FIL 乃至自定义 C++ 后端统一在一份配置模型仓库下。
3. Ensemble 与 BLS：Ensemble 用声明式 DAG 编排"检测后接跟踪再接分类"这类固定流水线；Business Logic Scripting 允许写 Python 控制流做条件路由、拆批合并。
4. 并发与实例管理：instance_group 控制每张卡上同一模型的副本数，多模型并发执行由调度器托管，天然配合 MIG 与 MPS 做多租户切分。

自研网关的真实成本​

自研路线的吸引力在于灵活：鉴权、限流、业务路由、AB 实验、成本归因都能按需来，很多团队用 FastAPI 加进程池两天就能跑起来。但走到生产会陆续遇到隐性成本：请求级动态批处理要自己实现并调优；模型加载、健康检查、灰度发布要重新造轮子；Prometheus 指标、XID 错误采集、GPU 利用率导出全部要自己接；分布式追踪与优雅扩缩容更是长期工程。

决策对比表​

维度	Triton	自研网关
动态批处理	内置，微秒级队列延迟可调	需自研，质量取决于实现
模型格式支持	十余种后端统一托管	逐个适配
业务逻辑灵活度	中等，靠 BLS 补齐	完全自由
可观测性	Prometheus 指标开箱即用	全部自建
团队门槛	学配置模型仓库与调度参数	需要长期维护的服务团队
适合规模	多模型、CV 类流水线、多租户	业务逻辑重、单模型、快速验证

实操建议​

经验法则是：模型种类多、有 CV 类流水线编排需求、追求 GPU 利用率的团队，直接用 Triton，把自研精力留给上层业务网关；业务逻辑极重、模型单一且迭代以周计的小团队，自研网关反而更轻。更常见的最优解是分层——Triton 承担"模型服务与批处理"这层标准化工作，前面再叠一层薄薄的业务网关做鉴权路由，两层各司其职。无论哪条路线，先用真实流量回放压测，对比 P99 时延与单卡吞吐再定，不要凭感觉拍板。

每一颗AI加速器都绕不开台积电的晶圆。当AI需求以指数级膨胀，"把所有先进制程放在一座岛上"的地缘脆弱性就成了全球供应链最敏感的神经。台积电的答案是把厂搬出去——但搬出去的产能，和留在岛内的产能，并不是同一种产能。

扩建速度翻倍：18座工厂的全球棋局​

在2026年技术论坛上，台积电运营与先进技术工程副总经理田博仁表示，面对AI与高性能运算的强劲需求，公司正以过去两倍的速度加速扩建，全球范围内将新建与改造共计18座半导体工厂，其中包含5座先进封装厂。2025至2026年间，台积电每年可新建约9座工厂，较2017至2024年每年约4座的节奏翻倍。台积电同时预计，2022年至2026年间AI加速器晶圆需求将增长11倍，2纳米及更先进制程产能在2026至2028年的年复合增长率达70%。

海外基地	制程定位	最新进展
亚利桑那一厂	4纳米	2024年量产，2026年产能提升1.8倍
亚利桑那二厂	3纳米	主体完工，2027年下半年投产
亚利桑那三厂	2纳米级	2026年5月封顶
熊本一厂	22与28纳米	已量产，良率追平台湾厂区
熊本二厂	升级至3纳米	2025年动工建设
德累斯顿ESMC	28与22、16与12纳米	主体完工，目标2027年底投产

亚利桑那：AI 芯片的美国制造心脏​

亚利桑那是这场海外扩张的绝对重心。2026年5月，台积电核准在不超过200亿美元的额度内增资美国子公司，作为去年公布的1650亿美元全球扩建计划的提速动作。英伟达、AMD、苹果等主要客户已预订其产能，台积电还计划在现有基础上继续扩容，考虑使亚利桑那的晶圆厂总数达到8座、封装厂达4座，形成"超级晶圆厂"集群。

关键的战略指标是：未来台积电在美国的产能将占其全球2纳米及更先进制程的约30%。这对AI芯片供给意味着什么？英伟达与AMD最尖端的加速器晶圆将有三分之一产自美国本土，出口管制、关税与地缘风险对这部分产能的扰动模式将完全不同。值得注意的是，亚利桑那厂区已从此前累计约12.5亿美元的爬坡亏损（2021至2024年，据公开报道）转为单季盈利——2026年第一季度盈利约188亿元新台币，超过2025年全年总和。

熊本与德累斯顿：两种完全不同的海外逻辑​

日本熊本与德国德累斯顿的角色定位截然不同。熊本一厂目前量产22与28纳米，台积电披露2026年该厂28与22纳米产出将达2025年的20倍；二厂原本规划6纳米与7纳米，因AI需求强劲已升级为3纳米制程——这是熊本首次触碰先进制程。不过2026年7月底熊本发生的强震一度迫使JASM停工，虽然厂体无损，但也直观展示了"多元化"本身也会遭遇多元化风险。

德累斯顿则压根不是为AI而生。由台积电与博世、英飞凌、恩智浦合资的ESMC聚焦28与22纳米及16与12纳米制程，面向汽车与工业客户，欧洲芯片法案承担了接近一半的资本开支。它解决的是欧洲"汽车芯片完全依赖亚洲"的焦虑，而非AI算力的供给问题。

研判：先进制程的"去中心化"才刚起步​

读懂台积电海外布局的关键，是认清一个事实：目前最尖端的AI芯片制造主力依然留在台湾——2纳米大规模量产由新竹与高雄厂承担，海外产能要到2027年后才逐步接棒先进节点。海外建厂买的是地缘保险与客户信任，付出的则是建厂成本数倍于台湾、工程师与文化磨合的代价。对AI产业而言，未来三到五年会形成一个分层供给结构：美国负责最尖端制程的三成产能，日本承接先进与成熟制程的过渡带，欧洲专注车规与工业。供应链韧性在提升，但供给的定价权，依然牢牢握在新竹的排产会议桌上。

2026 年秋天，"统一内存"成了 AI 硬件圈最卷的词。AMD 和 NVIDIA 在 AI PC 上贴身肉搏，桌面端堆出 748GB 的"超算"，数据中心则用 HBM4 把带宽拉到 22TB/s。容量数字一路上涨，但真正决定体验的，是那个藏在参数表角落里的带宽。

统一内存要解决什么​

传统 PC 架构里，CPU 和 GPU 各管一摊内存：模型文件躺在系统内存里，推理前要先通过 PCIe"搬运"到显存，模型一大，加载时间以分钟计，显存不够还会溢出到磁盘。统一内存的思路是把这堵墙拆掉——CPU 和 GPU 共享同一块物理内存，模型加载变成一次指针映射，权重不用搬，KV Cache 也能被两个处理器同时访问。

AMD 用 VGM（可变显存滑块）实现这一点：Ryzen AI Max+ 395 的 128GB 内存里，最多 96GB 可划给 GPU 当显存；新的 Pro 495 则允许从 192GB 里划出 160GB。NVIDIA 的路线更彻底，RTX Spark 的 GB10 超级芯片通过 NVLink-C2C 让 Arm CPU 与 Blackwell GPU 直接共享 128GB LPDDR5X，地址空间完全一致。

四档产品对比表​

2026 年 10 月的市场上，统一内存产品已经拉开四个档次：

档位	产品	统一内存	可分配给 GPU	带宽	定位
AI PC 旗舰	NVIDIA RTX Spark（GB10）	128GB LPDDR5X	共享统一内存	300GB/s	笔记本/紧凑桌面，跑 120B 模型
AI PC 旗舰	AMD Ryzen AI Max+ 395	128GB LPDDR5X	96GB（VGM）	256GB/s	端侧 70B 完整推理
AI PC 增配	AMD Ryzen AI Max Pro 495	192GB LPDDR5X	160GB（VGM）	约 272GB/s	本地离线跑 100B 级模型
桌面超算	DGX Station for Windows（GB300 Ultra）	748GB（252GB HBM3e + 496GB LPDDR5X）	一致性内存	7.1TB/s（GPU 侧）	万亿参数模型桌面开发
数据中心	Rubin R200	288GB HBM4	全部显存	22TB/s	机架级训练与推理

值得注意的是两家新品发布的贴身节奏：AMD 在 10 月 5 日公布 Pro 495，两天后 NVIDIA 就办了 RTX Spark 新品活动。AMD 还准备了后续牌——代号 Gorgon Halo 的 Ryzen AI Max 400 同样最高 192GB，Pro 495 加速到 5.2GHz，并宣称是首款能在本地跑 300B 级模型的 x86 客户端处理器。整机侧，联想 YOGA Pro 15 搭载 RTX Spark，统一内存规格为 9400MT/s、256-bit 位宽。

带宽才是隐藏变量​

把四档产品的带宽排成一列，差距比容量悬殊得多：256GB/s（395）、约 272GB/s（Pro 495）、273GB/s（DGX Spark 64GB）、300GB/s（RTX Spark 128GB），再到 7.1TB/s 与 22TB/s——AI PC 与数据中心之间差了整整两个数量级以上。

这解释了一个反直觉的现象：容量相同的两台机器，token 生成速度可能差出数倍。大模型推理的 decode 阶段是典型带宽受限负载，每生成一个 token 都要把权重和 KV Cache 扫一遍，带宽直接决定每秒吐出多少字。RTX Spark 靠 300GB/s 在四款 AI PC 里领先；而 DGX Station 的 748GB 之所以值钱，不只因为容量能装下万亿参数，更因为 252GB HBM3e 提供的 7.1TB/s 带宽让模型真的跑得动，而不是"装得下、跑得慢"。

还有一档容易被忽略：DGX Spark 双机通过内置 ConnectX-7 的 QSFP 直连，可把内存池化到 128GB，模型上限提升至 2000 亿参数级，Qwen3.8 27B 实测峰值较单台提升最高 70%——用网络扩展统一内存，是介于单机和工作站之间的第三条路。

VGM 与 CUDA 统一内存的分配策略差异​

同样叫统一内存，AMD 和 NVIDIA 的分配哲学并不相同。AMD 的 VGM 是显式的静态划分：用户拖滑块决定划多少 GB 给 GPU，划出去的部分 CPU 不能再用。优点是行为可预测、显存语义清晰，对 llama.cpp、Stable Diffusion 这类工具友好；代价是弹性差，划多了浪费、划少了要重划。

NVIDIA 的 CUDA 统一内存是动态的：CPU 与 GPU 共享统一地址空间，按需在两者间迁移页面。开发者不用预判"该分多少"，跑什么模型都是同一套逻辑；但页面迁移的粒度和时机由运行时控制，遇到突发访问模式时可能引入抖动。对追求开箱即用的消费用户，CUDA 路线体验更顺滑；对需要稳定显存预算的 Agentic 工作流，VGM 的确定性反而更吃香。

选型建议：按模型规模分档​

需求	推荐档位	理由
7B-30B 模型、日常 Agent	RTX Spark / 锐龙 AI Max+ 395（128GB）	容量富余，带宽 256-300GB/s 足够流畅
70B-100B 模型、隐私敏感	锐龙 AI Max Pro 495（192GB / 160GB VGM）	本地离线跑 100B 级，数据不出机
200B 模型、桌面开发	双机 DGX Spark（池化 128GB）	ConnectX-7 直连扩展，成本低于工作站
万亿参数、专业工作流	DGX Station（748GB）	HBM3e 带宽保证可用性
生产级服务	Rubin R200（288GB HBM4 / 22TB/s）	机架级并发与吞吐

小结​

统一内存之战没有单一最优解：128GB 与 192GB 争夺 AI PC 入场券，748GB 的 DGX Station 把数据中心内存架构搬上桌面，288GB HBM4 则继续守卫机架级吞吐。选型的第一变量不是容量，而是带宽——256GB/s 与 22TB/s 之间隔着三个数量级的体验鸿沟；第二变量是分配策略——VGM 的确定性划分与 CUDA 的动态迁移各有适配场景。先想清楚要跑多大的模型、多少并发，再看参数表，才不会被大数字带偏。

高校实验室的算力采购和企业不同：预算一次性、使用人多为研究生、负载高度突发（开学季与论文季爆满、寒暑假空转）。30 万元怎么花，取决于实验室做什么方向。

一、先明确：你的算力需求画像​

实验室负载的典型分布：课程实验和小模型跑通（7B 以下微调、经典视觉模型训练）占请求量的大头；硕士论文实验（7B 至 34B 微调、目标检测、扩散模型）是中等需求；博士课题与预训练尝试（70B 级、多模态）是小概率但高算力的长尾。用这个画像对齐预算，30 万元大致有四个花法。

方案	配置明细	总价区间	可支撑规模
A. 经典多卡工作站	4 卡 RTX 4090 24GB 工作站	12 万至 18 万元	8 至 12 名学生的日常实验，7B QLoRA 与 CV 训练流畅
B. 消费旗舰小集群	2 台双卡 5090 主机（4 卡 32GB）	14 万至 22 万元	显存翻倍，可跑 34B QLoRA、多模态实验
C. 专业卡单机	二手 8 卡 A800 80GB 或 4 卡 A100	60 万以上（超出）/二手 4 卡约 25 万至 35 万元	70B QLoRA 单卡可行，大模型方向博士课题
D. 自建加租赁组合	2 至 3 卡 4090 自建，其余向云租赁	自建 8 万至 12 万元，租赁按用量	峰值弹性大，适合人数多、方向分散的大组

方案 C 需要说明：全新 8 卡 A800 或 HGX H100 整机在 60 万至 240 万元区间，超出 30 万预算；二手 4 卡 A100 80GB 服务器是唯一能挤进预算的 HBM 路线，约 25 万至 35 万元，但需接受无原厂保修的风险。

二、按研究方向的对号入座​

视觉与多模态方向：训练目标检测、分割、扩散模型，单卡 24GB 是舒适线，方案 A 或 B。扩散模型训练建议优先 5090（32GB），长分辨率训练的显存余量明显更好。

NLP 与大模型方向：以微调为主，方案 A 加云租赁的组合最务实——7B 至 13B 的 QLoRA 本地跑，70B 级实验用云上 A100 或 H100 按需租（单卡时租约 10 至 35 元），一次 70B QLoRA 实验的租赁成本通常仅数百元。

AI for Science（分子模拟、材料、生物）：这类负载常需要双精度或大内存，消费卡的双精度性能很弱，二手 A100 或 A800 是正确方向，预算不足时优先申请校级或国家级算力平台配额。

边缘智能与嵌入式方向：30 万可以配得很豪华——10 套 Jetson Orin 边缘套件（每套约 2,000 至 6,000 元）加一台 4 卡 4090 训练机，形成"云端训练、边缘部署"的完整教学科研闭环。

三、采购流程里的三个坑​

1. 招标参数被反向定制。 实验室设备常走政府采购流程，写参数时要写性能指标（显存容量、带宽、FP16 算力）而不是品牌型号，避免投标方用参数瑕疵废标重来，周期拖一学期。

2. 电费与机房没提前谈。 4 卡 4090 满载约 1.6kW，8 卡机超过 4kW，很多院系机房电路按老标准建设，装机前先和楼宇管处确认功率上限与空调能力，否则机器到了点不亮。

3. 忘了摊销管理成本。 实验室集群需要有人做管理员：账号分配、队列调度（Slurm）、硬盘清理。建议预留预算购置 NAS（约 2 万至 4 万元）并安排学生轮值制度，否则半年后就是"谁的实验占着卡不撒手"的罗生门。

四、结尾建议​

给大多数实验室的默认答案是方案 A 起步、租赁补峰：12 万至 18 万元落地 4 卡 4090 工作站，覆盖组内八成的日常实验；剩余预算一部分买 NAS 与 UPS，一部分作为年度云租赁经费。等负载曲线稳定跑满半年后，再决定是否升级到 80GB 专业卡。高校算力采购最怕一步到位的执念——硬件摩尔节奏下，分两次各买一半，永远比一次买满更划算。