接上篇： macos（M4）上跑强化学习 - PyTorch LunarLander-v3 Stable-Baselines3

官方文档参考：https://stable-baselines3.readthedocs.io/en/master/common/logger.html#explanation-of-logger-output

通用的图例数据基础介绍：

• Value：原始真实指标数值。（图标中与图例颜色较淡的那根线）
• Smotthed：TensorBoard 自带曲线滑动平均处理后的数值。主要用来观察整体升降趋势。（图表中和图例相同颜色的那根线）
• Step：横轴坐标，也就是从训练开始，智能体和环境一共执行了多少步 action。
• Relative：相对时间。用来横向对比不同实验训练速度快慢。

Rollout

PPO 不是走一步更新一次，而是先收集一批轨迹，再统一训练，这一批收集过程就叫一次 rollout。
其中有2个图标：如下图

rollout/ep_len_mean

本轮 rollout 收集到的所有回合，平均回合长度（其实就是回合执行的时间，这里用步数代替了）。如下图：

rollout/ep_rew_mean

本轮 rollout 收集到的所有回合，平均回合奖励（就是平均回合奖励的总数）。如下图：

Time

其中只有一个，就是fps。（这个不是游戏渲染帧率）每秒完成多少条环境交互 step，也就是训练数据采集阶段的运行速度。

简单来说，fps越高，收集训练样本速度越快，也就意味着训练速度越快。

Train

这里有9个表格。

train/approx_kl

Approximate KL Divergence，近似平均KL散度，代表的是更新前旧策略 和 更新后新策略 的分布差距有多大。

PPO 最核心思想：不能让策略一次性改动太大！，否则训练极易崩溃、震荡。

• 数值小：新旧策略几乎没变化，更新力度太弱，学习慢
• 数值大：新策略一次性改动过猛，很危险，容易训崩
  网上有很多说法，有说0.001-0.02之间，有说0.001-0.03之间。不过没有找到详细的解析或说明。
  

train/clip_fraction

被 Clip 裁剪截断的样本占全部样本的比例。
强化学习中，需要限制策略更新幅度，阻止一次性改动过大。也就意味着，更新的新策略越多，裁剪越大。所以这里有一个规律，KL 越高 → 策略改动越大 → 更多样本触发裁剪 → clip_fraction 上升。

train/clip_fraction

PPO 裁剪区间的半径，是初始化模型设置的参数。默认为0.2。可以开启动态自适应clip_range。

train/entropy_loss

熵损失。熵（Entropy）：用来衡量策略随机性大小。

• 熵越大：动作概率分布越平均 → 智能体更喜欢随机探索
• 熵越小：策略趋向确定性，总是固定选最优动作，探索变少
  

train/explained_variance

解释方差（Explained Variance）专门用来评价 PPO 里 Critic 价值网络（估值网络）预测准不准。
数值区间解读

• ≈ 1.0：完美！价值网络预测和真实回报几乎一致
• > 0：价值网络有一定预测能力（有效）
• ≈ 0：价值网络预测效果 ≈ 和直接猜平均值差不多，基本没用
• < 0：最差情况！价值网络预测完全不靠谱，甚至还不如直接输出常数均值
  

train/learning_rate

优化器当前使用的学习率 lr。其实就是控制神经网络每一次参数更新的步幅大小。

• lr 大：参数改动幅度大，学习快，但容易震荡、训崩
• lr 小：更新平稳，不容易翻车，但收敛速度变慢
  图中是固定学习率，没有开启线性衰减（lr_schedule）。开启后随着训练步数增加，学习率会持续慢慢降低，这条曲线会一路向下倾斜。线性衰减优势在于，开始时快速探索，后期稳定收敛，不容易崩。
  

train/policy_gradient_loss

策略梯度损失（Actor 网络专属损失）。
这一步是策略更加倾向选择能拿到更高奖励的动作。只控制模型怎么选择动作。

好的表现是：缓慢持续下降，不会剧烈震荡、不会突然断崖式飙升。
强化学习的一个结论：平稳温和的迭代，经常比单次激进优化得到更好的最终结果。

train/value_loss

价值网络损失（Critic 网络专属损失）。
这个目标是让 Critic 的估值越来越贴近真实收益。
价值网络：评估当前状态好不好。

好的表现是：训练前期 Critic 完全不懂环境，预测偏差巨大；随着训练不断修正，估值误差持续缩小。平稳持续下降，没有突然剧烈跳涨。

train/loss

图表中这个会在policy_gradient_loss和value_loss前面。只是这里我放到了最后。
PPO 总的联合损失函数（Total Loss）。
策略梯度损失（policy_gradient_loss，优化 Actor） + 价值网络损失（优化 Critic）+ 熵损失（entropy_loss，鼓励探索，带负号）。
强化学习中，不能像普通监督学习一样，单纯认为 loss 越低 = 模型越好！。