接上篇：TensorBoard PPO log 解析
根据表格内容，进行参数的逐步优化

代码：github

根据上篇文档中的数据内容：

图表	解析
	explained_variance 数据为负数或0附近，代表 价值网络拟合失效。
	approx_kl 持续上行，策略更新幅度偏大
	学习率 lr不变

test_01_4

进行参数调整：

训练后的结果

可以通过rollout/ep_rew_mean发现，价值回报的数据已经崩了。下次训练需要调整。

test_01_5

进行参数调整：

训练后的结果

可以通过rollout/ep_rew_mean发现，价值回报的数据已经开始向正常方向进行。指标都开始改善了。
后续准备继续拉高回报。

test_01_6

进行参数调整：

训练后的结果

回合奖励继续提升，这个是很好的现象。通过train/clip_fraction发现，后期波动很大，证明模型探索新区域时出发裁剪。

test_01_7

进行参数调整：

训练后的结果

训练的日志看起来都很棒了，但回报仍然没有突破0。后续训练准备继续降低探索，目标是突破回报0。

test_01_8

进行参数调整：

训练后的结果

很棒！回合回报终于大于0了！并且可以发现，explained_variance在后期已经稳定的超过了0.6。非常好的现象。
整个模型曲线非常健康，前期没有崩盘，后期没有震荡。

test_01_8_1_0

基于test_01_8，继续训练50_000回合。

训练后的结果

explained_variance已经可以上升到0.8了，针对理论值的1，已经非常接近了。并且ep_rew_mean已经稳定的超过了0，并且通过图表可以看出在持续上升。

评估

使用模型跑50次，看看模型奖励，评估一下。

# python evaluate.py

import gymnasium as gym
from stable_baselines3 import PPO

env = gym.make("LunarLander-v3")
model = PPO.load("ppo_LunarLander")

# 批量评估
eval_episodes = 50
total_reward = 0
for ep in range(eval_episodes):
    obs, _ = env.reset()
    ep_r = 0
    while True:
        action, _ = model.predict(obs, deterministic=True)
        obs, reward, terminated, truncated, info = env.step(action)
        ep_r += reward
        if terminated or truncated:
            break
    total_reward += ep_r
    print(f"Episode {ep+1} reward: {ep_r:.2f}")
print(f"平均奖励：{total_reward/eval_episodes:.2f}")

env.close()

结果如下：

平均奖励很高。

最终效果对比

未训练的帖子在：macos（M4）上跑强化学习 - PyTorch LunarLander-v3 Stable-Baselines3

未训练	训练后