内容简介:如果不用激励函数(其实相当于激励函数是f(x) = x),在这种情况下你每一层节点的输入都是上层输出的线性函数,很容易验证,无论你神经网络有多少层,输出都是输入的线性组合,与没有隐藏层效果相当,这种情况就是最原始的感知机(Perceptron)了,那么网络的逼近能力就相当有限。正因为上面的原因,我们决定引入非线性函数作为激励函数,这样深层神经网络表达能力就更加强大(不再是输入的线性组合,而是几乎可以逼近任意函数)。数学形式:导数形式:
如果不用激励函数(其实相当于激励函数是f(x) = x),在这种情况下你每一层节点的输入都是上层输出的线性函数,很容易验证,无论你神经网络有多少层,输出都是输入的线性组合,与没有隐藏层效果相当,这种情况就是最原始的感知机(Perceptron)了,那么网络的逼近能力就相当有限。正因为上面的原因,我们决定引入非线性函数作为激励函数,这样深层神经网络表达能力就更加强大(不再是输入的线性组合,而是几乎可以逼近任意函数)。
Sigmoid函数
数学形式:
导数形式:
特点:
- 它能够把输入的连续实值变换为0和1之间的输出,特别的,如果是非常大的负数,那么输出就是0;如果是非常大的正数,输出就是1.
- 导数比较好求
- 导数最大值是0.25
缺点:
- 在深度神经网络中梯度反向传递时导致梯度爆炸和梯度消失,其中梯度爆炸发生的概率非常小,而梯度消失发生的概率比较大。
- Sigmoid 的output 不是0均值(即zero-centered)。
- 其解析式中含有幂运算,计算机求解时相对来讲比较耗时。
tanh函数
tanh函数解析式:
或者
导数形式:
tanh函数及其导数的几何图像如下图:
它解决了Sigmoid函数的不是zero-centered输出问题,其收敛速度要比sigmoid快,然而,梯度消失(gradient vanishing)的问题和幂运算的问题仍然存在。
Relu函数
Relu函数的解析式:
Relu函数及其导数的图像如下图所示:
优点:
- 解决了gradient vanishing问题 (在正区间)
- 计算速度非常快,只需要判断输入是否大于0
- 收敛速度远快于sigmoid和tanh
缺点:
- ReLU的输出不是zero-centered
- Dead ReLU Problem,指的是某些神经元可能永远不会被激活,导致相应的参数永远不能被更新。
Leaky ReLU
函数表达式:
为了避免ReLU在x<0时的神经元死亡现象,添加了一个参数。
ELU函数
函数表达式:
函数及其导数的图像如下图所示:
它结合了sigmoid和ReLU函数,左侧软饱和,右侧无饱和。右侧线性部分使得ELU能缓解梯度消失,而左侧软饱和能让对ELU对输入变化或噪声更鲁棒。ELU的输出均值接近于0,所以收敛速度更快。
MaxOut
选择合适的激活函数
- 选择输出具有zero-centered特点的激活函数以加快模型的收敛速度
- 如果使用 ReLU,那么一定要小心设置 learning rate,而且要注意不要让网络出现很多 “dead” 神经元,如果这个问题不好解决,那么可以试试 Leaky ReLU、PReLU 或者 Maxout.
- 最好不要用 sigmoid,可以试试 tanh,不过可以预期它的效果会比不上 ReLU 和 Maxout.
优化器专题
词嵌入专题
fasttext
FastText是Facebook开发的一款快速文本分类器。关于fastText具体实现原理,Facebook发表了两篇相关论文
- Bag of Tricks for Efficient Text Classification(高效文本分类技巧)
- Enriching Word Vectors with Subword Information(使用子字信息丰富词汇向量)
模型结构
fastText 也利用了类别(class)不均衡这个事实(一些类别出现次数比其他的更多),通过使用 Huffman 算法建立用于表征类别的树形结构。因此,频繁出现类别的树形结构的深度要比不频繁出现类别的树形结构的深度要小,这也使得进一步的计算效率更高。
word2vec
glove
循环神经网络专题
RNN
LSTM
式 (1)∼(4) 的输入都一样,因而可以合并:
GRU
过拟合和正则化
BatchNormalization的作用
神经网络在训练的时候随着网络层数的加深,激活函数的输入值的整体分布逐渐往激活函数的取值区间上下限靠近,从而导致在反向传播时低层的神经网络的梯度消失。而BatchNormalization的作用是通过规范化的手段,将越来越偏的分布拉回到标准化的分布,使得激活函数的输入值落在激活函数对输入比较敏感的区域,从而使梯度变大,加快学习收敛速度,避免梯度消失的问题。
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- 神经网络基础
- 神经网络基础
- 深度学习基础:单层神经网络之线性回归
- 深度学习数学基础(二):神经网络构造
- 图神经网络库 DGL 零基础上手指南(一)
- 神经网络的基础是MP模型?南大周志华组提出新型神经元模型FT
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
RGB转16进制工具
RGB HEX 互转工具
在线进制转换器
各进制数互转换器