一、什么是“训-推误差”（Training-Inference Mismatch）

在强化学习（包括 RLHF、PPO、GRPO 等）用于大语言模型（LLM）微调时，会存在一个核心问题：模型在训练阶段与推理阶段使用的策略概率分布不完全一致。

核心描述

训练过程中通常包含两个不同的计算环节：

1. Rollout (推理 / 采样阶段)
   生成文本样本（sequence）用于估算奖励（reward）。这个阶段往往使用高度优化的推理引擎和特定的浮点精度设置（例如 BF16、FP8 等），追求快速生成与高 throughput。

2. 训练 / 更新阶段
   使用采样生成的数据计算梯度、更新策略权重。这个阶段通常使用另一个训练引擎，关注数值稳定性与精确梯度计算，并可能采用不同的浮点精度和算子实现。

即使两个阶段用的是相同的模型参数，由于精度、算子、并行策略（TP/DP 分布式）、浮点累积误差等差异，它们分别计算出的策略分布在数学上并不完全匹配，这种差异称作“训-推误差”。(BAAI Hub)

---

📌 二、这种误差如何产生？

1. 不同精度与数值实现

• 训练往往使用 BF16（bfloat16）来兼顾动态范围与内存效率。
• 推理为了速度可能使用 FP16/FP8 或特别优化的内核。

结果是，即便算法逻辑相同，不同精度数值运算会因为舍入误差、累积误差、不同的 reduction 顺序等导致训练策略 (π_train) 与推理策略 (π_inference) 在概率分布上有微小偏差。(BAAI Hub)

这种微小差异在监督学习里可能不会显著，但在 RL 中会被放大，因为强化学习依赖概率比率来估计梯度（如在 PPO/GRPO 中的 importance weights）。

2. 引擎/实现差异

• Rollout 使用的推理引擎例如 vLLM、SGLang
• 训练使用的引擎例如 FSDP、Megatron-LM

这两者底层优化（内存布局、并行策略、 kernel 实现、float reduction 顺序）不同，会导致相同参数下的 log-prob 输出不一致，进一步造成策略分布差异。(vLLM Blog)

---

📌 三、为何训-推误差危害 RL 稳定性？

强化学习优化通常依赖策略梯度估计，例如在 PPO/GRPO 等方法里：

\( \nabla_\theta J(\theta) = E_{\tau\sim π_\theta} [ \nabla_\theta \log π_\theta(\tau) A(\tau) ] \)

其中采样 trajectory (τ) 使用的是 rollout 策略 (π_inference)，但实际 gradient 计算和更新依据训练策略 (π_train)。如果两个分布不一致：

1. 梯度估计偏差（biased gradient）
   训练过程中计算的梯度不再是对真实目标的无偏估计，而是受 mismatch 影响的近似值，随着训练推进，梯度噪声和偏差会放大，导致训练震荡甚至崩溃。(arXiv)

2. 部署－训练性能差距（deployment gap）
   即使训练稳定收敛，得到的策略更适合训练引擎上的分布，而在推理引擎上的表现仍旧不佳。(mlpod.com)

3. 动态累积效应
   随着生成序列长度与模型规模增大，这些差异在低概率 token（tail tokens）上尤其显著，并在序列级别累积，导致 log-prob 差异不断增大，训练过程对噪声更敏感。(arXiv)

---

📌 四、训-推误差如何引发训练不稳定？

1. 梯度噪声增加

Mismatch 会使策略更新方向不再是严格梯度方向，而是带有噪声和偏差的近似，导致：

• 震荡：loss/reward 值剧烈变化
• 崩溃：训练直接失败、模型失控
• 收敛缓慢或失败

随着训练进程，这些噪声可能随着更新步数累积，使训练优化路径更加不稳定。(arXiv)

2. 低概率 token 的放大效应

低概率 token 在策略梯度中占较大权重，其数值误差更剧烈，导致贡献的 gradient variance 特别高，从而难以收敛。(arXiv)

---

📌 五、当前常见的解决策略和研究进展

可以把方法大致分成四类：

✅ 1. 精度对齐

统一训练和推理的浮点精度，减少底层算子差异：

• 将 BF16 全部换为 FP16。
  近期研究发现 FP16 的舍入性质更稳定，能显著减少训-推策略分布偏差、提升稳定性和收敛速度。(BAAI Hub)

✅ 2. 重要性采样（Importance Sampling）修正

对 rollout 采样概率与训练策略概率做 re-weight，使 gradient estimator 更接近无偏：

• token-level 或 sequence-level IS
• Truncated IS / Masked IS
  这些方法可以缓解 mismatch 引起的一部分偏差，但计算成本高、难以完全消除偏差，并且在某些场景中效率低下。(mlpod.com)

✅ 3. 动态优化方法

最新工作指出 mismatch 不是静态数值误差，而是随训练演化的动态问题。提出根据训练变化动态调整学习率等优化策略以抑制 mismatch 引发的梯度噪声。(arXiv)

✅ 4. 系统级一致性对齐

从底层并行策略、算子实现、batch reduction 一致性等角度确保 trainer 与 sampler 使用完全一致的核函数和实现（例如 TP-大小一致的 deterministic kernels）。(arXiv)

---

📌 六、总结 — 本质与本质区别

层级	问题核心	典型表现
训练-推理 mismatch	数值/架构/实现差异	策略分布不一致
梯度估计偏差	超出了 RL 算法的原假设	不稳收敛、震荡
动态累积问题	mismatch 与梯度噪声随训练推进耦合	崩溃或 early exit

可以看出，训-推误差并不是表面上的“训练与推理区别”，而是被强化学习放大的一类 概率分布与优化动态之间的根本冲突。解决这类问题需从底层精度、引擎一致性和训练动态角度综合考虑，而不仅仅是算法层面的机械修正。(BAAI Hub)

---

---

一、Sequence-level IS 在解决什么问题（一句话版）

用当前训练策略的“整句概率”，去纠正这条样本其实是由“另一个策略”采出来的事实。

在 LLM RL 中：

• 样本是 一整条生成序列 ( \tau = (a_1,\dots,a_T) )
• 采样用的是 ( \pi_{\text{rollout}} )
• 更新用的是 ( \pi_{\text{train}} )

Sequence-level IS 就是：
不关心 token 细节，只在“整条序列”这一层把分布对齐。

---

二、Sequence-level IS 的完整算法流程（step by step）

下面这个流程几乎等价于你在 PPO / GRPO 系统里真实会看到的实现。

---

Step 1️⃣：Rollout 采样（推理阶段）

对 prompt ( x )：

\( \tau = (a_1,\dots,a_T) \sim \pi_{\text{rollout}}(\cdot \mid x) \)

同时 必须保存：
\( \log \pi_{\text{rollout}}(\tau)= \sum_{t=1}^T\log \pi_{\text{rollout}}(a_t \mid s_t) \)

⚠️ 这一步用的是推理引擎算出来的 log-prob
⚠️ 不是训练引擎的结果

---

Step 2️⃣：奖励计算 & Advantage 估计

计算 reward（来自 RM / rule / verifier）：

\( R(\tau) \)

然后构造 advantage（最简单版本）：

\( A(\tau) = R(\tau) - b \)

其中 ( b ) 可以是：

• batch mean
• value model
• group baseline（GRPO）

---

Step 3️⃣：训练阶段重新算整条序列的 log-prob

用 当前训练模型参数 ( \theta )，重新 forward 这条序列：

\(\log \pi_{\text{train}}(\tau)= \sum_{t=1}^T\log \pi_\theta(a_t \mid s_t)\)

此时你已经有了两套值：

• \(( \log \pi_{\text{rollout}}(\tau) )\)
• \(( \log \pi_{\text{train}}(\tau) )\)

---

Step 4️⃣：构造 sequence-level IS 权重

\( w(\tau)= \frac{\pi_{\text{train}}(\tau)}{\pi_{\text{rollout}}(\tau)}= \exp\Big(\log \pi_{\text{train}}(\tau)\log \pi_{\text{rollout}}(\tau)\Big) \)

🔥 这里是 数值风险最高的一步

• 长序列
• log-prob 差值
• 指数放大

---

Step 5️⃣：权重裁剪（几乎必做）

实际系统中几乎一定会：

\( \tilde w(\tau)= \text{clip}(w(\tau), w_{\min}, w_{\max}) \)

否则训练会立刻不稳定。

---

Step 6️⃣：带 IS 的策略梯度更新

Sequence-level IS 的策略梯度写成：

\( \nabla_\theta J=\mathbb{E}*{\tau \sim \pi*{\text{rollout}}}\Big[\tilde w(\tau)\cdot A(\tau)\cdot\nabla_\theta \log \pi_\theta(\tau)\Big] \)

展开即：

\( \tilde w(\tau)\cdot A(\tau)\cdot\sum_{t=1}^T\nabla_\theta\log \pi_\theta(a_t \mid s_t) \)

注意：
权重是 sequence-level 的，但梯度仍然是 token-level 累加

---

三、Sequence-level IS 在“数学上”做了什么？

没有 IS 时（有偏）

你实际上在算：

\( \mathbb{E}*{\tau \sim \pi*{\text{rollout}}} \big[ \nabla_\theta \log \pi_\theta(\tau) A(\tau) \big] \)

但你真正想要的是：

\( \mathbb{E}*{\tau \sim \pi*{\text{train}}} \big[ \nabla_\theta \log \pi_\theta(\tau) A(\tau) \big] \)

---

加了 IS 之后（理论无偏）

利用重要性采样恒等式：

\( \mathbb{E}*{\tau \sim \pi*{\text{train}}}[f(\tau)]=\mathbb{E}*{\tau \sim \pi*{\text{rollout}}}\left[\frac{\pi_{\text{train}}(\tau)}{\pi_{\text{rollout}}(\tau)}f(\tau)\right] \)

Sequence-level IS 就是在用这个等式。

---

四、为什么 sequence-level IS 在 LLM 里特别容易炸？

1️⃣ 指数累积效应

\( \log \pi(\tau) = \sum_{t=1}^T \log \pi(a_t) \)

• 每个 token 差 0.01
• 长度 2k
• 总差 20
• 权重 ( e^{20} \approx 4.8 \times 10^8 )

👉 单条样本就能主宰整个 batch

---

2️⃣ 低概率 token 是“噪声放大器”

• tail token 的 log-prob 数值误差最大
• sequence-level IS 把它们全部合并放大

---

3️⃣ 与 PPO ratio clipping 的“隐性冲突”

PPO 里已经有：

\( r_t = \frac{\pi_\theta}{\pi_{\text{old}}} \)

再叠一层 sequence-level IS：

• 相当于 双重 ratio
• 有时会过度约束
• 有时又完全失控

---

五、工程上 sequence-level IS 的“真实形态”

你在工业 / 开源系统里看到的通常是：

sequence-level IS
+ weight clipping
+ reward normalization
+ small LR
+ frequent policy refresh

本质是：
用一堆工程手段，压住它天然的高方差。

---

六、一句话总结（给专家看的）

Sequence-level IS 是“在理论上正确、在实践中危险、但在工程上不得不用的工具”。

• 它修的是：分布不一致
• 它带来的是：指数级方差
• 它真正依赖的是：裁剪、正则和工程纪律