GIT RE-BASIN: MERGING MODELS MODULO PERMUTATION SYMMETRIES (1)
MSTK
·
2024-11-11
·
via 博客园 - MSTK
在深度学习模型的训练过程中,经常会遇到这样的现象：每次训练,虽然初始值、随机种子、训练数据的顺序不一样,但是得到的loss曲线都差不多,在验证集上的结果也差不多.这篇论文从land scape的角度解释了这个问题：神经…
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。
