DeepSeek-V4 Flash的强化学习训练流程，如今完整跑在了AMD Instinct MI355X GPU上。对，不是推理，不是微调，是RL训练。LMSYS团队把这个2840亿参数的MoE巨兽，架在四台八卡AMD节点上，用ROCm软件栈和Miles框架，端到端地跑通了奖励持续上涨、离线基准同步提升的训练曲线。这事放在半年前，连AMD自己的工程师都不敢拍胸脯——但现在，配置、踩坑、数据全部公开摆在台面上了。
为什么AMD突然能跑大模型RL了
一个被忽视已久的假设终于被验证
业界默认的剧本是这样的：大模型强化学习训练是NVIDIA的专属游戏。CUDA生态太厚，第三方框架迁移成本高到无人愿碰。ROCm一直被当作“能跑推理就不错”的备胎，MLPerf里偶尔露个脸，但真要扛起千亿参数RL的完整管道，怀疑声远大于期待。LMSYS这次的实验，本质不是在炫技，而是直接打穿了那个长久悬置的假设——如果软件栈到位，AMD硬件能不能吃下RL训练这碗饭？答案是一组数据：超过100个优化器步骤，训练-rollout对数概率差保持在可控范围，在线奖励持续攀升，离线AIME-2024基准分数跟着往上走。这不是某个单一算子的胜利，是整个流水线经住了拷打。
2840亿MoE，每token只醒着130亿个参数
DeepSeek-V4 Flash的规模本身就藏着工程考验。总参数2840亿，混合专家架构，每一次前向推理只激活大约130亿参数。这听上去很节省计算量，但MoE的RL训练多了一道鬼门关：rollout生成需要推理引擎高效地调度专家路由，策略更新又必须拉回全量权重进行梯度计算。团队选择用SGLang扛起rollout生成，用Megatron负责策略更新，而Miles框架在中间扮演异步循环和权重同步的轴心。三种组件、两套参数表征，要在AMD芯片上协同运转——稍有一个环节的通信节奏对不齐，整个训练就会在静默中偏离收敛轨道。
三座大山，没有一座靠绕路能翻过去
SGLang与Megatron的模型对齐，远不止写个转换脚本
大多数工程师容易把“模型对齐”理解成简单的键名映射，但在这次训练里，问题要棘手得多。SGLang作为面向推理加速的框架，其内部权重组装方式、层归一化的精度处理、乃至MoE路由器的辅助损耗计算，都与Megatron身上那股“原生训练”的血统有细微却致命的分歧。团队花费大量精力去适配两种框架间的模型定义差异，确保rollout阶段产生的那份概率分布，能无缝对接到策略更新所需的梯度路径上。这中间没有捷径可抄。任何一个未对齐的偏置项，都会让对数概率差飘出安全区间，导致RL的信号噪声压过真实奖励。
当量化参数需要在线更新，ROCm的算子栈经住了拷打
为了在AMD有限的显存带宽里塞下如此大的训练上下文，量化必不可少。但训练中的量化不是一锤子买卖——权重缩放因子、动态范围参数会随着优化步数在线变化。ROCm生态之前被诟病最多的地方就在这里：低精度算子不够皮实，偶尔出现数值漂移。LMSYS的验证表明，借助Miles框架维护的在线量化状态，整个管道得以在AMD MI355X上稳定推进。训练-rollout之间的对数概率差没有出现量级上的跳变，意味着低精度计算不再是大规模RL的拦路虎。这给后来者吃了一颗定心丸：ROCm的算子层，至少在MI355X这一代，已经能扛起复杂性远超推理的训练任务。
多节点并行考验的不是软件逻辑，是节点间真实的比特流
四个八GPU节点联合作战，把“稳定性”问题直接抬到了物理层。GPU间的高速互联、节点的网络抖动、ROCm下RCCL通信库的拥塞重传——任何一个环节冒出零星错误，都会在百步训练中被放大成奖励曲线的剧烈震荡。团队在博客里没有掩盖细节：他们遭遇过多节点同步时的随机挂起，也撞上过框架间流同步点错位引发的死锁。最终端到端跑通，靠的不是修改某一行高级配置，而是扎进底层通信原语与框架调度逻辑，一寸寸把不确定性拧紧。
一百步之后的曲线，看的就是可信度
训练-rollout对数概率差，从震荡走向平稳
强化学习训练最怕一种情形：奖励在涨，但策略正在悄悄偏离原始语言模型的合理输出空间。监控训练-rollout对数概率差，等于给训练过程装了一面真实的后视镜。LMSYS放出的数据里，前几步这个差值存在些许躁动，那是策略初次偏离先验时必然付出的探索代价。步数一过50，曲线明显收窄，重新进入可控走廊。超过100步时，差值已经压到一个足够体现实用价值的窄带里。光有奖励的漂亮曲线不算数，这个对数概率差稳住，才真正意味着RL训练没走火入魔。
在线奖励持续攀升，离线AIME-2024分数同步起飞
在线奖励曲线的上扬，证明模型在训练过程中越来越擅长达成任务目标。但单一奖励指标有时会掉入奖励黑客的陷阱：模型学会讨好奖励函数，却在真实能力上没有增益。团队的离线评测直接祭出AIME-2024基准分数作为照妖镜——分数随训练步数同步攀升，没有出现背离。这一里一外的双重验证，把AMD平台的可信度推到了新的层级。它表明这次跑到的不只是一套能运作的管线，而是一条具备真正优化收益的RL训练路径。
这篇博客的价值不在结论，在步骤
不少厂商喜欢丢出一张最终分数表，把过程藏得严严实实。LMSYS反其道而行之，把踩过的坑、用到的框架版本、桥接方式全部摊开。博客里写明的端到端验证细节——四个八GPU节点、100步以上的优化器步数、对数概率差可控、奖励与离线分数同步提升——对试图在非NVIDIA硬件上复现大模型RL训练的工程师来说，是一份真正能照着上手的工程笔记。这件事情最深远的影响，可能不是AMD赢了一个benchmark，而是它撕掉了“非N卡不能做大模型RL”的封条。当下一代ROCm和Miles框架继续成熟，算力采购的谈判桌，要开始变天了。
