MoE 模型的路由重放 → R3

type

status

date

slug

summary

要理解路由回放，首先需要理解现代 LLM 强化学习（如 PPO）的训练循环以及底层计算架构。

一次标准的 PPO 迭代包含三个关键步骤，同一个数据会被计算多次：

问题的核心在于：第1步（Rollout）和第2步（Recompute）虽然理论上是同一个模型在处理同一个输入，但在工程实现上往往是两个框架。

为了追求效率，现代架构通常是物理分离的：

对于传统的 Dense 模型，的 Logits 误差可能只是让概率分布稍微平移，影响微乎其微。但对于 MoE 架构，这种微小的扰动是致命的。 MoE 的 Router 执行的是 Top-K 离散选择（通常是 Argmax）。这导致 Router 的输出对扰动极度敏感：

这一机制主要关注训练循环内部的一致性，是GSPO的解决方案。

即缓存激活的专家，并在计算重要性比率时在中“回放”这些路由模式

这是论文 Stabilizing MoE Reinforcement Learning by Aligning Training and Inference Routers 提出的核心方案，旨在解决跨系统的根本性不一致。

回放 (Replay): 在训练引擎的 Step 2 (Recompute) 和 Step 3 (Update) 中，彻底丢弃自己的路由选择权，直接使用。

如果我们强制锁定了专家，Router 还能被训练吗？R3 采用混合计算公式：

维度	Recompute Routing Replay (GSPO)	Rollout Routing Replay (R3)
数据源头	Training Engine (Recompute Step)	Inference Engine (Rollout Step)
解决的问题	误差：参数随时间更新导致的漂移。	误差：系统架构差异导致的漂移。
覆盖范围	仅 Update 阶段一致。	Rollout Recompute Update 全链路一致。
对 `mini_step=1`	无效。此时 Recompute 和 Update 本就一致。	有效。依然能纠正推理与训练的偏差。
工程复杂度	低。仅需修改训练代码。	中高。需打通推理与训练引擎的 Mask 传输。
核心价值	无法阻止由框架差异引起的训练崩溃。	将 MoE 的稳定性提升至 Dense 模型水平。