http://joschu.net/blog/kl-approx.html
KL近似计算代码： https://github.com/THUDM/slime/blob/main/slime/utils/ppo_utils.py
KL 散度定义
标准的 k1 估计KL 散度， 方差大， 应为k1 有正有负
k3 也是KL 散度的无偏估计， 但是元素都是正的， 方差小很多
--- 她说， 她是仙，她不是神
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。