Home > AI

ReLU的缺点

linker   ·   发表于 1个月前   ·   AI

当一个非常大的梯度流过ReLU神经元, 更新参数后, 这个神经元再也不会对任何数据有激活的现象了.

也就是我经常的说的, 学傻了.

1 Reply   |  Until 1个月前 | 121 View

linker
发表于 1个月前

ReLU 是两段线性函数结合,主要的问题是线性。

线性好处是,计算简单,导数是常数。

缺点是,没有“激活”这个特性。失去了神经元的一个仿生特性。表达能力下降很多。

ReLU 可以带来一定的稀疏化权重的好处, 不过, 另一个问题就是 “学傻”。

一部分神经元前向链接过早的权重归零。



评论列表

  • 加载数据中...

编写评论内容
LoginCan Publish Content
程序耗时 0.0253秒 内存:368KB