神经网络每一层节点输出值,都要套一层非线性激活函数。现在使用较多的激活函数 ReLU 激活函数在 x > 0 的时候也是线性的,并且是 y=x ,这能起到“线性”=>“非线性”的作用吗?不太理解 ReLU 是怎么实现激活作用的
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。