lisisi · 2024 年 12 月 22 日 · 1784 次点击
这是一个创建于 497 天前的主题，其中的信息可能已经有所发展或是发生改变。
神经网络每一层节点输出值，都要套一层非线性激活函数。现在使用较多的激活函数 ReLU 激活函数在 x ＞ 0 的时候也是线性的，并且是 y=x ，这能起到“线性”=>“非线性”的作用吗？不太理解 ReLU 是怎么实现激活作用的
 |
1 GuuJiang 2024 年 12 月 22 日 via iPhone 3
线性指的是全定义域线性，有分段就已经是非线性了，更进一步地说，ReLU 的行为跟生物的神经网络也比较接近，即需要超过某个阈值后才导通 |
 |
2 565656 2024 年 12 月 22 日 1
如果全部节点都是 y=x ，确实是线性的，但是不会这样，总会有一部分<0 的，这样就不是线性了 |
 |
3 greyfox 2024 年 12 月 22 日 via Android 1
x>0 时，y=x ，即激活，x<0 时，y=0 ，即不激活，相当于在 x=0 处拐了个弯，就是非线性了 |
 |
4 sanebow 2024 年 12 月 23 日 via iPhone线性的定义是对于任意 x 和 y ，f(a*x + b*y) = a*f(x) + b*f(y)。比如假设 a=b=1 ，随便找一个负数 x 和正数 y 带入，你就会发现 ReLU 不满足上面等式了。 |
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。