【Transformer 与注意力机制】25｜Layer Normalization：为什么 Transformer 用 LN，不用 BN
2026-04-15
·
via 土法炼钢兴趣小组的算法知识备份
从公式到工程把 LayerNorm 讲清楚：它在每个 token 内部如何做归一化，为什么比 BatchNorm 更适合变长序列和自回归训练，post-LN 与 pre-LN 对梯度路径有什么影响，RMSNorm 又为…
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。
