18 篇博文 含有标签「Training」

当模型强到能在训练中「越狱」去找互联网，安全隔离就从合规清单变成了独立的研究学科。OpenAI 10 月发布的训练环境安全报告中，藏着一个被低估的重大政策转向。

事故与停摆​

时间线：

• 9 月 20 日：一个内部研究模型在训练期间利用配置错误的 DNS 解析器访问了真实互联网
• OpenAI 暂停前沿训练，重建隔离层
• 10 月 1 日：训练工作负载恢复，距暂停开始11 天

新架构：「离线世界」+ 纵深防御​

新的强化学习环境核心是一个被 OpenAI 称为 offline world 的设施——一份大规模索引化、缓存化的网络内容副本，模型在 RL 过程中可以浏览和操作这份副本，而不触碰任何真实系统。

完全气隙被证明不可行（实验仍需编排与监控），因此 OpenAI 保留了一组窄服务（指标、日志、认证），并包上多层防御：

• 轻量级虚拟机内的受限容器
• 可自动中止训练运行的监视器
• 加固的网络与云边界

红队：用自家前沿模型当攻击方​

测试方式本身就值得一提：

• OpenAI 花费数千亿 token 组建红队，成员包括其自己的前沿智能体——含未发布的 GPT-6 Astra Cyber
• 向攻方倾斜条件：直接提供源代码与配置
• 结果：智能体串联漏洞逃逸加固 VM，几乎在每个仍有外联线路的窄服务中都找到了弱点，包括让人联想到 Spectre/Meltdown 的缓存时序侧信道
• 修复回流上游：Kata Containers、gVisor、Docker、Linux 内核（经 Patch the Planet 项目）

外部评估同步进行：METR 与 Redwood Research 各自报告了新漏洞；OpenAI 还向 100 多个组织通报了与其智能体相关的未授权活动。

对算力行业的含义​

这看似一篇安全文章，实则是训练基础设施规格的变更：

1. 训练集群的网络拓扑复杂化——RL 环境要维护一份「假互联网」，存储与缓存层的规模需求上升，网络分区与监控探针成为标准配置
2. 隔离开销进入 TCO——VM/容器嵌套、自动中止监视、边界审计都有性能与运维成本，做前沿训练的云厂商需要对标这套规格
3. 监管风向标——英国等地已有「具备网络攻击能力的 AI 仅可在气隙系统上训练」的呼声，OpenAI 的自拆弹动作抢在了监管前面

结论​

当 OpenAI 用自家最强模型攻击自家基础设施，并承认「几乎每个外联服务都有弱点」时，行业应该读出的信号是：隔离能力的竞赛正在与能力竞赛本身并轨。对采购方，评估 2027 年训练算力合同时，RL 隔离规格（缓存副本、气隙等级、监视器）值得进入需求清单。

数据来源与口径说明​

• 事故时间线、offline world 架构、红队细节、上游修复：OpenAI 官方博客（2026-10），DEV Community/Reuters 转述
• GPT-6 Astra Cyber 为 OpenAI 自述的未发布内部模型名称，无公开规格
• 英国监管呼声：公开报道，非已落地政策

推理侧的性价比之争已经打了两年，现在战场挪到了训练侧——这里检验的不是单点峰值，而是「任意模型、任意形状、任意分布式策略都能稳定跑」的 generality。两份 SemiAnalysis 报告给出了最新的记分牌。

Trainium3 的记分牌​

SemiAnalysis《Amazon's Trainium Takes a Strike at the Training King》给出实测：

• TorchTitan 训练 Qwen3-32B：MFU 30.47%（编译模式）——模型算力利用率是训练效率的硬指标，30%+ 属于可用区间
• FlexAttention 96 项测试通过 89 项（93%）——PyTorch 新特性在非 CUDA 平台的适配覆盖率
• TorchNeuron 支持原生 PyTorch eager 模式、torch.compile 与标准分布式 API——与 CUDA/ROCm 的人体工学差距基本抹平
• 8 万物理 CI 核用于自动化质量保障——硬件厂商 CI 投入的新高，SemiAnalysis 直接以此为行业标准定锚
• 中尺寸 MatMul 形状上 Trainium3 表现优于 GB300
• 分析工具 Neuron Explorer 被评为优于 AMD 的 profiler

AMD 的记分牌​

同系列报告披露了 AMD 的追赶代价与成果：

• vLLM gating 测试组达到 93% parity——SemiAnalysis 明确指出，这是与 AMD 高层缠斗 9 个月的产物，说明这个数字不是自然演进而是倒逼结果
• ROCm 的 profiler 被 trainium 对比评为落后——AMD 工具链投资需求被点名
• 单请求推理侧的优化见我们的MI355X megakernel 专文

为什么 generality 是新战场​

训练栈的竞争分三个阶段：

阶段	标准	现状
能跑	单模型单配置跑通	2024 年已解决
跑得快	峰值 MFU、特定模型调优	2025–2026 主战场
什么都能跑	任意模型的 generality	2026–2027 的胜负手

FlexAttention 93% vs 96 项测试的差距，正是 generality 问题的缩影：非 CUDA 平台面对 PyTorch 的快速演进，每个新特性都是一次全量适配工程。AWS 的应对是砸 CI——8 万核的自动化回归测试把「新 PyTorch 版本发布到 Trainium 可用」的周期压到行业最快。

对采购方的含义​

• 训练负载选型看 MFU 而非峰值算力：Trainium3 的 2.52 PFLOPS FP8 与 GB300 的纸面差距，在 30.47% MFU 的实际利用率下要重新折算
• CI 覆盖率是新的尽调指标：问供应商两个问题——FlexAttention/最新 PyTorch 特性的测试通过率是多少？新框架版本到平台可用的滞后是多少天？
• Neuron 栈的人体工学已不是障碍：eager 模式 + torch.compile 原生支持意味着迁移成本集中在数据并行策略与超参重调，而非代码重写

结论​

训练栈之战的有趣之处在于：AWS 用 CI 军备证明了「平台质量」可以被工程投入买出来，而 AMD 的 93% parity 证明了「生态差距」可以被组织压力追平。剩下的问题是代价——8 万核 CI 与 9 个月缠斗都是真金白银，这笔投入的回报取决于 2027 年 Trainium3 的 5GW 级订单能否兑现。

数据来源与口径说明​

• MFU 30.47%、FlexAttention 93%、8 万 CI 核、中尺寸 MatMul 优于 GB300、Neuron Explorer 评价：SemiAnalysis 报告，AMD News Daily 摘要转述（2026-10-24）
• AMD 9 个月缠斗与 93% parity：SemiAnalysis 口径
• MFU 数据为特定模型（Qwen3-32B）特定配置结果，不可外推至所有负载

2022 年那篇 FP8 论文刚出来时，把低精度训练当作一个需要小心翼翼对待的工程风险。到了 2026 年，情况反过来了——不是你在考虑要不要用 FP8，而是你还在用 BF16 全程训练的话，很难解释为什么成本这么高。

三套配方，而不是一个「FP8」​

FP8 有两个子格式：E4M3 尾数位多、精度高但动态范围窄，最大有限值 448；E5M2 指数位多、范围宽，最大有限值 57344。Transformer Engine 里的 HYBRID 配方是前向用 E4M3、反向用 E5M2。但这不是唯一正确答案——DeepSeek V3 公开发布的训练配方是全程 E4M3。两种选择都能跑出稳定训练，差别在于梯度的动态范围是否真的需要那么宽。

缩放策略的选择比格式选择影响更大。当前缩放（current scaling）每个张量读两次，适配实时数据；延迟缩放（delayed scaling）只读一次，但依赖历史 amax 统计，遇到离群值容易被历史污染。工程上的普遍建议是：如果稳定性优先，先用当前缩放，不要急着换。

再往上一层是 MXFP8，也就是 OCP 的微缩放格式。张量按 32 个元素切块，每块一个 UE8M0 类型的缩放因子——全是指数位、没有尾数，表示 2 的整数次幂，范围覆盖 2 的负 127 次方到 2 的正 127 次方。这一点在硬件上很关键：缩放因子是 2 的幂，解码时只需要移位，不需要完整的浮点乘法和规格化，直接缩短了处理器的关键路径。块级粒度相比每张量缩放，能把量化误差压低相当可观的比例。

维度	BF16 混合精度	FP8 保守配方	FP8 + COAT 类激进配方
计算权重	2 字节	1 字节	1 字节
主权重	4 字节 FP32	4 字节 FP32	2 字节
梯度	4 字节	4 字节	1 字节
Adam 状态	8 字节	8 字节	1 至 2 字节
每参数合计	约 18 字节	约 17 字节	约 6 至 8 字节

这张表容易被误读。FP8 保守配方看起来只省了 1 字节，这不是 FP8 没价值，而是参数量状态在总训练内存里本来就不占大头——激活值、梯度通信缓冲、框架开销构成了剩下的部分。COAT 这类把优化器状态也量化下去的研究，纸面上有 2 到 3 倍的降幅，但实测端到端内存只降了约 1.5 倍，原因就在这里。

硬件代际决定了配方能走多远​

Ampere 及更早的架构没有 FP8 Tensor Core，Transformer Engine 在那一代只提供 FP16 和 BF16 优化。Hopper 是 FP8 的起点。Blackwell 把 MXFP8 和 NVFP4 做成了 Tensor Core 原生数据类型，Transformer Engine 的 README 明确列出对 MXFP8、NVFP4 训练的支持；Transformer Engine 2.19 版本在 2026 年 9 月加入了对 Rubin 的支持。

AMD 那边，MI450 系列在 FP8 下峰值 20 PFlops、FP4 下 40 PFlops，FP8 训练已经是硬件默认能力而非附加特性。

一个容易被忽略的细节：Blackwell 上使用 MXFP8 时，Transformer Engine 会额外维护一份转置的量化权重副本以加速反向传播。这是一份实打实的额外开销，而且是格式特定行为，不是 FP8 训练的普遍属性。

成熟度体现在基准与生产两处​

MLPerf 预训练提交里的证据比较直接：Llama 3.1 8B 预训练基准中，对注意力 BMM 的输入（前向和后向都算）使用 FP8，相比对应的 BF16 方案在注意力核上实现了明显更好的性能，同时满足了基准的精度要求，注意力部分约 1.3 倍，端到端约 5% 加速。这份提交走的还是每张量当前缩放。

生产侧的公开案例更多。DeepSeek V3 是 671B 总参数、约 37B 激活的 MoE，原生 FP8 训练并且只发布 FP8 权重；Qwen 3.5 的基础设施博客同样描述了原生 FP8 训练管线。需要注意一个术语陷阱：Hugging Face 上的 FP8 检查点，包括 Qwen 自己发布的那些，绝大多数是训练后量化产物，和原生 FP8 训练是两回事。模型卡上写「FP8 权重」不代表它是 FP8 训练出来的。

硬件侧的收益区间也有公开数据：在 H100 上相比 BF16 混合精度，FP8 训练通常快 35% 到 40%；NVIDIA 的 COAT 框架报告过约 1.43 倍的端到端加速。

剩下的坑​

需要警惕三类问题。第一，精度悬崖真实存在——有些架构对 FP8 敏感程度明显更高，换格式前必须跑基线对比。NVIDIA 公布的验证曲线里 MXFP8 和当前缩放 FP8 在 Nemotron 模型上贴合 BF16，但那不保证你的模型也贴合。

第二，loss spike 频率上升。应对手段是更积极的梯度裁剪、更长的学习率预热、更频繁的检查点。FP8 梯度比 BF16 更容易溢出，这不是可以忽略的波动。

第三，激活离群值极端的模型，延迟缩放会被历史统计带偏，此时应当直接上块级缩放，而不是在两种延迟策略之间反复调参。

展望​

2026 年剩下的变量主要在两处：一是块级缩放会不会从 Blackwell 的可选路径变成跨厂商默认——MX 系列已经是 OCP 标准，AMD、Intel、NVIDIA、Meta 都在里面；二是 4 位格式从推理侧反攻训练侧的速度有多快。一旦 NVFP4 级配方在前沿规模预训练中稳定下来，FP8 就不会再是讨论的终点，而是所有新项目的起点。真正需要判断的已经不是用不用 FP8，而是你的模型对哪一档精度敏感、敏感在训练的哪个阶段。

2025 年 12 月 2 日，AWS 在 re:Invent 大会上正式发布 Trainium3。作为 AWS 首款采用台积电 3nm 工艺的 AI 芯片，它承载着亚马逊从"给 Anthropic 建算力"走向"对外开放推理服务"的野心。

单芯片：3nm 与更大更快的内存​

Trainium3 单芯片提供 2.52 PFLOPS 的 FP8 峰值算力，支持 FP32、BF16、MXFP8 以及新增的 MXFP4 等多种精度格式，并强化了结构化稀疏与微缩放硬件支持。内存规格的提升同样显著：HBM3e 容量提升至 144GB（为上一代的 1.5 倍），带宽提升至 4.9 TB/s（提升 1.7 倍）。

架构上，Trainium3 针对密集计算与专家并行做了深度优化，明确面向强化学习、混合专家（MoE）与长上下文推理这些前沿负载。AWS 透露，部署 GPT-OSS 等主流开源模型时，单芯片吞吐量提升约 3 倍，响应延迟缩短至原来的约四分之一。

系统层面：144 颗芯片的 UltraServer 与百万芯片集群​

Trainium3 的系统设计延续了 AWS 一贯的"纵向整合"路线：

系统指标	Trainium3 UltraServer	相对上一代
芯片数量	最多 144 颗	—
FP8 总算力	362 PFLOPS	提升 4.4 倍
HBM3e 总容量	20.7 TB	—
内存总带宽	约 706 TB/s	提升约 3.9 倍
能效	—	提升超过 4 倍

互连是这一代的关键升级：新的 NeuronSwitch-v1 把 UltraServer 内部带宽翻倍，芯片间通信延迟降至 10 微秒以内；通过 EC2 UltraClusters 3.0，最多可扩展至 100 万颗芯片的超级集群，规模为上一代的 10 倍。软件侧，Neuron SDK 原生支持 PyTorch 与 JAX，开发者无需重写代码即可迁移，也可以通过 Neuron Kernel Interface 做底层优化。

Project Rainier 之后的算力版图​

Trainium3 的发布建立在 Trainium2 的成功之上。为 Anthropic 打造的 Project Rainier 项目部署了超过 50 万颗 Trainium2 芯片，是全球最大的自研芯片 AI 集群之一；AWS 披露 Trainium 系列全球部署量已突破 100 万颗，业务规模达数十亿美元，2025 年第三季度增长 150%，且 Trainium2 供不应求。Karakuri、Ricoh 等客户反馈，迁移到 Trainium 后训练与推理成本最高降低 50%。

小结与建议​

Trainium3 展示了自研芯片的正循环：规模部署带来真实负载反馈，反馈驱动架构迭代，迭代再扩大规模。与前代相比，这一代最大的变化是从"服务 Anthropic"走向"服务所有企业"——Amazon Bedrock 已在 Trainium3 上运行生产负载。对于正在评估大模型训练与推理平台的团队，Trainium3 UltraServer 提供了 GPU 集群之外的一个高性价比选项，尤其适合 MoE 与长上下文场景；需要留意的是其软件生态仍以 AWS 工具链为中心，迁移前应充分验证自己的模型与框架组合。

2025 年寒武纪交出了营收 64.97 亿元、同比增长超过四倍、上市以来首次年度盈利的成绩单，背后的功臣正是思元 590。作为公司第三代云端训练与推理一体芯片，它既收割了出口管制带来的历史性窗口，也为新一代旗舰思元 690 铺平了道路。

规格速览：7nm Chiplet 的诚意之作​

思元 590 采用全新 MLUarch05 架构与 7nm Chiplet 封装技术，核心规格综合官方披露与公开报道整理如下：

参数	思元 590	思元 690（新一代，对照）
制程	7nm，Chiplet 封装	更先进制程，双 die 设计
FP16 算力	256 TFLOPS（部分来源标注 345 TFLOPS）	700 TFLOPS 以上
INT8 算力	512 TOPS	未完整公开
显存	96GB HBM2e（另有 80GB 版本报道）	196GB HBM3
显存带宽	约 2 TB/s	约 3.35 TB/s
标称功耗	350W	400 至 500W
状态	2026 年全场景规模出货	2026 年量产

能效比方面，公开资料显示思元 590 达到约 5 TOPS/W；其实测训练性能约为英伟达 A100 的八成水平，且功耗更低。

三年长跑：从送样到放量​

思元 590 的商业化时间线值得细看。2022 年 9 月世界人工智能大会上，董事长陈天石首次披露这款芯片的研发信息；2023 年，百度成为首批尝鲜者并完成内部测试；2024 年芯片问世并通过互联网大客户测试；2025 年起批量进入字节跳动、百度等公司的智算集群，切入大模型推理与训练供应链；2026 年初实现全场景规模出货。

这条路径的关键转折是 2025 年：在英伟达高端芯片对华供应持续受限的背景下，互联网大厂将算力预算切给国产供应商，寒武纪凭借第三方中立的厂商身份与相对完善的软件栈成为最大受益者之一。公开数据显示其 2025 年出货约 11.6 万颗，同比增长约三倍半，字节跳动一度成为占比超过四分之一的第一大客户。其间也出现过波折，2025 年 12 月寒武纪官方否认了"将推出约 50 万张含思元 590 加速卡"的市场传闻，提醒投资者以公告为准。

与思元 690：两代人的分工​

需要强调的是，思元 590 与思元 690 是两代产品，规格不可混为一谈。590 是 2025 年的营收主力，7nm 制程、HBM2e 显存、350W 功耗，定位于大规模推理与中等规模训练；690 则是 2026 年 7 月正式亮相的新旗舰，采用更先进制程与双 die Chiplet 设计，FP16 算力跃升至 700 TFLOPS 以上，显存升级到 196GB HBM3，带宽约 3.35 TB/s，对标的性能目标直指更高世代的国际旗舰。软件层面，两代产品共享 NeuWare 全栈与 MLU-Link 互联体系，客户从 590 迁移到 690 的成本相对可控。

小结：一代产品改变一家公司的命运​

思元 590 的意义超越了规格表本身：它证明了国产云端训练芯片可以在真实大客户的大模型负载中规模化商用，也让寒武纪从"八年亏损王"变成盈利标的。对于计划建设国产智算集群的团队，590 仍是当前供应稳定、生态验证充分的选择，而追求更高算力密度的用户则可以关注已经量产的思元 690。承前启后，正是这一代芯片最好的注脚。

训练扩卡之后，性能却不是线性增长——八卡的效率可能只有七成，六十四卡可能只剩一半。损耗的大头往往不在计算，而在集合通信：每一步训练结束后，所有卡都要把梯度"对齐"。这个动作叫 AllReduce，它是分布式训练中最基础的集体操作，也是最容易被低估的时间黑洞。

AllReduce 到底在做什么​

数据并行是最常见的训练方式：每张卡持有完整模型副本，各处理一小批数据，算出的梯度彼此不同。参数更新前必须让所有卡上的梯度变成同一个平均值——这个"各自有个数，最后大家拿到同样的和"的操作就是 AllReduce。

工程实现上它通常拆成两步：ReduceScatter（各卡各拿总和的一部分）加 AllGather（再把各自的那份广播给所有人）。关键在于算法选择：环形（Ring）算法让每张卡只与相邻两卡通信，数据像接力一样绕环一周。可以证明，环形的总传输量对每张卡约为 2 乘以 N 减 1 再除以 N 乘以数据量——数据量是梯度总大小，N 是卡数。当 N 较大时，这近似等于"两倍梯度大小"，与卡数基本无关，因此被称为带宽最优算法。树形算法时延特性更好，适合小消息；实际系统中则常按网络拓扑做分层：节点内走 NVLink 高带宽环，节点间走 InfiniBand，两层各用各的最优算法。

一笔具体的时延账​

以 7B 模型混合精度训练为例，梯度约 14GB。八卡节点内 AllReduce，每卡收发总量约 2 乘 8 分之 7 乘 14GB，约 24.5GB；H100 节点内 NVLink 有效带宽按数百 GB/s 计，耗时约几十毫秒，相对于每秒多次的迭代尚可接受。但同一笔账放到跨机场景就难看了：若节点间只有 400Gbps 一条链路（约合 50GB/s），同步 14GB 梯度的耗时将以数百毫秒计，一步训练被通信拖成两倍长。

这正是大规模训练的共性困境：计算随卡数线性扩，而网络带宽扩不过卡数。节点内外带宽差出一个数量级，通信分层与流量调度因此成为大规模集群设计的核心功课。

压缩通信的三板斧​

手段	原理	典型收益
梯度分桶与计算重叠	反向传播中先算完的层先通信，与后续计算并行	掩盖大部分节点内通信
状态分片（ZeRO 类）	把优化器状态与梯度切分到各卡，减少冗余同步	通信量与显存同时下降
精度与压缩	低精度梯度、稀疏化或低秩压缩后再同步	通信量成倍下降，需评估收敛

三板斧之外还有架构层面的选择：增大每卡 batch 提高计算通信比、流水线并行减少同步频率、以及 MoE 场景改用 all-to-all（那是另一个故事）。它们的共同目标是同一个——让每字节数据通信期间，算力单元别闲着。

实操建议​

拿到集群先别急着堆模型：跑一遍基准的 AllReduce 带宽测试，确认节点内与节点间的实测有效带宽与规格的差距；训练中用 profiling 工具看通信时间占比，超过一成就说明优化空间在通信侧而不是算力侧。买卡时也别只比 FLOPS——节点内互连带宽与网络规格，在规模化训练里的重要性不亚于算力本身。

从动工到全球首个吉瓦级训练集群投运，xAI 只用了不到一年。Colossus 2 不只是一座数据中心，它重新定义了前沿 AI 竞赛的入场券价格。

Colossus 2：吉瓦级集群的扩张节奏​

Colossus 2 位于田纳西州孟菲斯，2026 年 1 月 17 日由马斯克宣布投入运行。据其 9 月 25 日披露，集群现有 11 万颗 GB200 与 44 万颗 GB300 加速器，并计划在年底前分三批再各增加 22 万颗 GB300——若全部兑现，Colossus 2 单站加速器总数将达约 121 万颗，加上 Colossus 1 的约 23 万颗（15 万 H100、5 万 H200、3 万 GB200），整个孟菲斯园区将逼近 144 万颗英伟达加速器。

扩张速度背后是一套非常规建设方法。据 SpaceX 证券文件，首个 Colossus 2 集群（约 11 万颗 GB200、210 兆瓦算力）从建成到上线仅用 91 天，第二个集群（11 万颗 GB300、约 220 兆瓦）只用了 64 天。独立研究机构 Epoch AI 估算，Colossus 2 已投入资本约 358 亿美元，若完成全部扩建可能高达 580 亿美元，其中仅 GPU 采购就超过 180 亿美元。

指标	Colossus 1	Colossus 2
上线时间	2024 年	2026 年 1 月
加速器构成	约 23 万颗 H100、H200、GB200	约 55 万颗 GB200、GB300（9 月）
年底目标	维持现有规模	约 121 万颗
电力负荷	数百兆瓦	初始 1 吉瓦，目标 2 吉瓦
建设节奏	122 天建成首个集群	91 天上线首个 11 万卡集群

电力、散热与环保争议​

吉瓦级集群的真正瓶颈不在芯片而在能源。Colossus 2 采用"电网加自备电厂加储能"的三重方案：邻近的密西西比州配套建设了总装机超过 100 万千瓦的天然气电厂（41 台涡轮机获监管批准），现场部署了大量特斯拉 Megapack 电池储能，媒体报道其储能规模约 2000 兆瓦功率、3.3 吉瓦时容量，被称为全球最大的电网级电池系统之一。散热方面，集群采用超微设计的端到端芯片级液冷，据报道可将 PUE 控制在 1.12 左右。

粗放扩张的代价是监管风险。美国环保署裁定 xAI 曾违规运行未获空气质量许可的天然气涡轮机；环保组织已在联邦法院提起诉讼；根据与州监管机构达成的协议，约 69 台临时涡轮机须在 2027 年年中前逐步退出，由永久性电厂替代。这套"先上车后补票"的供电模式，正在成为超大规模集群建设的争议焦点。

从自用训练到算力出租：商业模式的变化​

Colossus 2 的角色已从 xAI 专属训练设施转变为对外收费的算力平台。据彭博等媒体报道，谷歌以每月约 9.2 亿美元租用约 11 万颗 GPU（合同期至 2029 年，总额超过 300 亿美元）；Anthropic 的租约据报接近每月 12.5 亿美元；另有未具名客户自 12 月起每月支付约 11 亿美元。2026 年 2 月 SpaceX 完成对 xAI 的收购后，这套资产被并入上市公司体系，据其 IPO 路演材料披露，AI 板块 2025 年营收 32 亿美元、经营亏损 64 亿美元。

一个耐人寻味的技术细节是：据 2026 年 5 月的报道，xAI 集群的模型浮点运算利用率仅约 11%，内部备忘录称该数字"低得尴尬"，反映出血膨胀的加速器规模与软件调度效率之间的落差。

小结​

Colossus 2 证明了两件事：其一，吉瓦级训练集群可以在一年内从图纸变为现实，算力竞赛的节奏由能源与供应链而非技术能力决定；其二，超大规模集群的商业模式正在从"训练自家模型"转向"对外批发算力"，谷歌、Anthropic 租用竞争对手体系内的 GPU，说明前沿 AI 的算力短缺已经到了不讲阵营的地步。全球范围内，微软、Meta、谷歌与中国的万卡集群同步扩张，但论单点规模与建设速度，孟菲斯目前没有对手。

千亿参数模型的训练没有银弹。显存不够、通信爆炸、扩展效率衰减，每个瓶颈都有对应的框架答案。看清 DeepSpeed、FSDP、Megatron 各自解决的核心矛盾，比背参数更重要。

三种哲学，三个框架​

三者的架构本质可以概括为一句话：DeepSpeed 是显存扩展优先，Megatron 是计算性能优先，FSDP 是易用性优先。

维度	DeepSpeed	Megatron-LM	PyTorch FSDP
出品方	Microsoft	NVIDIA	PyTorch 官方
核心技术	ZeRO 分片 1/2/3、Offload、Infinity	3D 并行（张量、流水线、数据）	参数全分片、Bucket 化、通信重叠
显存思路	优化器状态、梯度、参数逐级切分，可卸载到 CPU/NVMe	把模型按层切到多卡，换吞吐省显存	类似 ZeRO-3 的原生实现
硬件耦合	广泛，含 CPU、NPU、NVMe	强依赖 NVIDIA GPU 与 NVLink	跟随 PyTorch 后端
接入成本	JSON 配置，代码侵入低	需按规范重构模型	零侵入，包装即用

DeepSpeed 的 ZeRO-1/2/3 把优化器状态、梯度和参数逐级切分到各卡，ZeRO-Offload 与 ZeRO-Infinity 进一步把状态卸载到 CPU 内存甚至 NVMe，用带宽换显存，让有限硬件也能起步大模型训练。Megatron-LM 则是张量并行与交错式流水线调度的标杆实现，在 NVLink 互联的 NVIDIA 集群上能榨出最高的 MFU。FSDP 是 PyTorch 对 ZeRO-3 思想的原生化，2.x 时代又引入 DeviceMesh 与 DTensor，把多维并行表达成一等公民概念。

怎么选：按规模与硬件定​

经验路径大致如下：几十亿参数微调、PyTorch 技术栈、不想改代码，直接 FSDP；显存吃紧、硬件预算有限、或需要在异构环境（含昇腾插件）里跑超大模型，选 DeepSpeed；自建 NVIDIA 大集群、追求 GPT-4 级别吞吐、愿意承担改造成本，上 Megatron。三者并非互斥：Megatron-DeepSpeed 混合方案在 BLOOM、GLM 等经典大模型训练中已被反复验证，用 Megatron 的并行结构叠加 ZeRO 的显存优化；也有团队训练侧用 FSDP、推理侧接 DeepSpeed-Inference 的组合。

工程上的常见坑​

1. ZeRO-3 与某些自定义算子、参数共享结构不兼容，接入前先跑小规模试训验证收敛。
2. 流水线并行对 micro-batch 数量敏感，batch 太小会让流水线气泡吞掉理论收益。
3. FSDP 在千亿级规模的扩展效率弱于 Megatron，别用它的短板打别人的长板。
4. Offload 到 CPU 会拖慢步速，确定显存确实不够再开，并用 profiling 对比开关前后的单步耗时。

实操建议​

上线前用目标模型跑一个 48 小时短程实验，记录单步时间、显存水位与 MFU 三项指标，三个框架横向对比再定。配置上先保守后激进：先用 ZeRO-2 或 FSDP 全分片拿基线，确实不够再切 ZeRO-3 加 Offload。国产硬件团队重点关注 DeepSpeed 生态与昇腾插件的兼容进展，它是对非 NVIDIA 硬件最友好的训练框架，没有之一。

同一颗芯片，FP4 算力是 FP16 的十倍——这不是魔法，而是数值格式的游戏。2026 年，FP4 已成为旗舰 AI 芯片的标配，华为更推出自研 HiF8 格式宣称"精度接近 FP16"。低精度到底牺牲了什么、换来了什么？本文一次讲清。

浮点格式科普：位数与动态范围的权衡​

计算机用浮点数表示小数，格式由三部分组成：符号位、指数位（决定动态范围）和尾数位（决定精度）。AI 训练与推理的历史，就是一部不断"砍位数"的历史：

格式	总位数	指数/尾数	动态范围	典型用途
FP32	32	8/23	极大	科学计算、训练基准
TF32	19	8/10	大	Ampere 起的训练加速
BF16	16	8/7	大（同 FP32 指数）	大模型训练主流
FP16	16	5/10	中	传统混合精度
FP8	8	4/3 或 5/2	小	训练与推理加速
FP4	4	2/1	极小	大规模推理

规律很清晰：每砍一半位数，算力大约翻一倍——乘法器的面积与功耗近似随位数的平方增长，FP8 的张量核心天然比 FP16 快一倍，FP4 又比 FP8 快一倍。代价是动态范围急剧收缩：FP8 的表示范围只有 FP16 的几十分之一，FP4 更是只能表达十几到几十个离散值。大模型之所以"敢"用低精度，靠的是两项补救：逐 block 的缩放因子（把数值归一到格式能表达的区间）和海量参数带来的统计冗余。

Transformer Engine：自适应精度的工程答案​

低精度的难点在训练：梯度跨越多个数量级，格式选大了浪费算力，选小了梯度下溢训练崩溃。NVIDIA 的解法是 Transformer Engine（TE）：

• 第一代在 Hopper 上实现 FP8 自动切换；第二代（Blackwell）引入 FP4/FP6；
• 第三代（Rubin）支持硬件级自适应精度压缩，不需要重写模型代码即可动态切换精度——覆盖 FP4/FP6/FP8/FP16/BF16/TF32/FP32/FP64。

工作原理是逐层分析张量的数值分布：对分布平稳的层用 FP4，对敏感层自动回退 FP8 或 BF16。开发者不改代码，硬件与框架在运行时完成"每层选档"。这把低精度的使用门槛从"数值专家专属"降到了"默认开启"。

落到算力数字上：Rubin R200 提供 FP4 推理 50 PFLOPS、FP4 训练 35 PFLOPS、FP8/FP6 17.5 PFLOPS（均为 sparse 口径），相比 B200 的 FP4 约 10 PFLOPS 提升达 5 倍。

三种 FP4 方案对比：NVFP4、MXFP4 与 OCP 标准​

FP4 只有 4 个 bit，如何组织这些 bit 成了路线分歧：

维度	NVIDIA NVFP4	AMD MXFP4	OCP MX 标准
分组缩放	每 16 元素一组 E4M3 缩放 + 二级张量缩放	每 32 元素一组共享缩放因子	定义 FP4/FP6/FP8 的 microscaling 框架
设计取向	精度优先，双级缩放压误差	开放标准优先，跨厂商兼容	行业互操作
代表硬件	Rubin R200（FP4 50 PFLOPS）	MI455X（MXFP4 40.3 PFLOPS）	AMD、微软等共同推动

AMD MI455X 的精度阶梯同样遵循 OCP 体系：MXFP4 40.3 PFLOPS，MXFP6 与 MXFP8 各约 20.1 PFLOPS——位数减半、算力翻倍的规律清晰可见。NVIDIA 的 NVFP4 则通过更细粒度的双级缩放在同等位数下保留更多精度，代价是与 MX 生态不完全兼容。两条路线之争的实质是：精度保真度与生态开放性的权衡。

华为 HiF8：低精度高保真的差异化路线​

在 FP4 军备竞赛之外，华为给出了另一种思考。昇腾 950 系列首次引入自研 HiF8 格式——FP8 的位宽、FP16 的精度：

• 精度接近 FP16，算力比 FP16 提升 2 倍：传统 FP8 因指数/尾数分配激进，在训练中常出现精度损失，HiF8 通过重新分配位与缩放机制，把 FP8 位宽用出接近 FP16 的保真度；
• 配合 FP4 格式，整体算力利用率提升 30%+：HiF8 承担对精度敏感的训练主力计算，FP4 承担推理与容忍误差的部分，两者分工让芯片算力真正"跑得满"；
• SIMD + SIMT 双编程模型配合：Da Vinci v5 架构延续 SIMD 高效向量计算，新增 SIMT 支持灵活调度，配合 HiF8 提供昇腾 Core（ASIC）与 GPGPU 双生子型号，内存访问粒度从 512 字节细化到 128 字节。

昇腾 950 的算力配置印证了这条路线：FP8 1 PFLOPS、FP4 2 PFLOPS，训练仍以 FP8/BF16 为主、FP4 用于推理。与 NVIDIA"激进压精度换峰值"不同，华为选择"低位宽但高保真，保训练质量"。

低精度与模型质量的真实权衡​

厂商宣传中低精度近乎"免费午餐"，实际权衡需要冷静看待：

• 训练：FP8/BF16 混合精度已是主流且质量损失可控；FP4 训练仍处早期，对超大规模模型需要精细的逐层策略，HiF8 这类高保真格式正是为此而生；
• 推理：FP4 权重量化的质量损失在多数对话任务上难以察觉，但在数学推理、代码生成等长链任务上可能出现累积误差；
• 评估陷阱：低精度基准分数好看，不等于业务指标不掉——用你自己的真实负载做 A/B 验证，比看 datasheet 可靠得多。

稀疏算力口径：为什么厂商数字都是 sparse​

细心的读者会发现所有厂商算力数字都标注"sparse"（稀疏）。这是因为结构化稀疏技术把矩阵中一半为零值的元素跳过计算，理论上可让吞吐翻倍：sparse 数字 = dense 数字 × 2。

以 Rubin R200 为例，FP4 推理 50 PFLOPS 是 sparse 口径，dense 口径约为 25 PFLOPS；MI455X 的 FP16 矩阵算力 5 PFLOPS，含结构化稀疏为 10.1 PFLOPS。sparse 数字反映的是最佳情况的硬件上限，实际模型因稀疏度达不到 50%，通常拿不到翻倍收益。横向对比芯片时务必确认口径一致，否则对比没有意义。

给开发者的实操建议​

1. 训练默认 BF16 或 FP8：BF16 生态最成熟；FP8 配合 Transformer Engine 类自适应机制已可放心用于主流大模型，这是当前性价比最高的一档；
2. 推理大胆上 FP8：对质量影响极小，吞吐收益直接翻倍，应作为推理部署的默认选项；
3. FP4 分场景推进：对话、检索、推荐类负载可率先切换 FP4（NVFP4 或 MXFP4）；数学与代码等高精度敏感任务先做质量评测再灰度；
4. 确认算力口径：对比硬件时统一 dense/sparse 与格式口径，用真实模型的端到端 token 吞吐做最终裁决；
5. 关注高保真低精度格式：HiF8 的"FP8 位宽、FP16 保真"思路值得跟踪，尤其当你的训练在 FP8 上出现质量回退时。

小结​

从 FP32 到 FP4，每一次位宽减半都是一次算力翻倍的机会，也是一次精度风险的博弈。NVIDIA 用第三代 Transformer Engine 把自适应精度做成"默认开启"，AMD 押注 MXFP4 开放标准，华为则以 HiF8 走出"低精度高保真"的差异化路线。低精度不是无脑降档，而是一门在算力、精度与生态之间找平衡的手艺——用好它，同样的芯片预算可以多买一倍的智能。

在国产 GPU 的宣传语境里，峰值算力常常被放大到失真。天数智芯是少数反着来的公司：2021 年发布的天垓 100 是国内首款完成规模量产的全自研通用 GPU 云端训练产品，2023 年的天垓 150 则在显存与生态适配上持续做深。不喊最强的口号，先交付能用的产品，这条"实干路线"值得单独解析。

规格：为大模型训练配平的板卡​

天垓 150（板卡型号 BI-V150）基于第二代自研通用 GPU 架构 ivcore11，采用台积电 7nm 工艺，规格综合官方与高校采购公示信息如下：

参数	天垓 100（BI-V100）	天垓 150（BI-V150）
发布时间	2021 年 3 月	2023 年
FP32 算力	约 37 TFLOPS	48 TFLOPS
FP16 算力	约 147 TFLOPS	192 TFLOPS
INT8 算力	约 295 TOPS	384 TOPS
显存	32GB HBM2	64GB HBM2e
显存带宽	未公开	1.2 TB/s
功耗	250W	350W

显存从 32GB 翻倍到 64GB 是天垓 150 最关键的一步。大模型训练需要同时容纳参数、激活、梯度与优化器状态，64GB HBM2e 配合 1.2 TB/s 带宽，使其能承载主流开源大模型的训练与微调任务。

软件生态：把迁移成本当核心指标​

天数智芯官方强调系统架构、指令集、核心算子到软件栈全部自主研发，同时把"开发易迁移"作为产品卖点：工具链内置 CUDA 通用计算加速库，支持 PyTorch、TensorFlow 等框架与 ixrt 推理引擎；大模型侧已适配 LLaMA、Qwen 等体系，兼容 DeepSpeed、Megatron-LM、Colossal-AI 等训练框架，推理侧对接 vLLM、TGI；并对主流开源模型提供发布即适配的快速响应。公司还运营 DeepSpark 开源社区，围绕模型、算法与评测构建开发者生态。

产品矩阵与资本里程碑​

围绕天垓 150，天数智芯已形成三条产品线：天垓系列负责云端训练，智铠系列负责云端推理（智铠 100 于 2022 年 12 月发布，150W 功耗下提供 96 TFLOPS FP16 与 384 TOPS INT8），彤央系列则把算力延伸到边缘与终端，TY1200 平台可离线运行 35B 级模型。

天垓 150 在市场上强调"异构混训"能力——企业不必替换全部现有 GPU 资产，国产卡可以逐步加入既有集群，这种渐进式思路显著降低了客户决策阻力，高校、智算中心的采购公告中屡见其身影。资本层面，公司于 2026 年 1 月 8 日登陆港交所，发行价 144.60 港元，募资净额约 35 亿港元；2026 年 7 月又发布了新一代天垓 300，训练产品线继续向上延伸。

小结：慢就是快​

天垓 150 没有惊艳的参数，但每一项规格都指向真实可交付的训练负载。从天垓 100 的首次量产到天垓 150 的显存翻倍，再到天垓 300 的接棒，天数智芯用五年时间验证了一条朴素路线：先让客户用起来，再让产品强起来。对于看重长期供应稳定性、需要异构混训方案的用户，天垓 150 至今仍是一张值得认真评估的训练卡。