学习笔记:深度学习网络的优化-初始化参数

栏目: 数据库 · 发布时间: 5年前

内容简介:使用梯度下降法训练神经网络时,需要对参数初始化。对w参数(weight matrices) 和b参数(bias vectors),使用不同的初始化策略会对训练结果和效率有非常大的影响:3. 定制初始化方案——He initialization (author of He et al., 2015)

使用梯度下降法训练神经网络时,需要对参数初始化。对w参数(weight matrices) 和b参数(bias vectors),使用不同的初始化策略会对训练结果和效率有非常大的影响:

  1. Speed up the convergence of gradient descent 加速梯度下降的收敛速度
  2. Increase the odds of gradient descent converging to a lower training (and generalization) error 使误差降低的概率更大

不同参数的方案:

  1. 初始化为0
    • fails to "break symmetry" 未能破坏对成性
    • This means that every neuron in each layer will learn the same thing
for l in range(1, L):
    parameters['W' + str(l)] = np.zeros((layers_dims[l],layers_dims[l-1]))
    parameters['b' + str(l)] = np.zeros((layers_dims[l],1))
复制代码
学习笔记:深度学习网络的优化-初始化参数
  1. 随机初始化
    • success to "break symmetry",make sure different hidden units can learn different things
    • Initializing weights to very large random values does not work well.
    • poor initialization can lead to vanishing/exploding gradients 导致梯度消失/梯度爆炸
for l in range(1, L):
        parameters['W' + str(l)] = np.random.randn(layers_dims[l],layers_dims[l-1]) * 10
        parameters['b' + str(l)] = np.zeros((layers_dims[l],1))
复制代码
学习笔记:深度学习网络的优化-初始化参数

3. 定制初始化方案——He initialization (author of He et al., 2015)

for l in range(1, L + 1):
        parameters['W' + str(l)] = np.random.randn(layers_dims[l],layers_dims[l-1]) * np.sqrt(2/layers_dims[l-1])
        parameters['b' + str(l)] = np.zeros((layers_dims[l],1))
复制代码
学习笔记:深度学习网络的优化-初始化参数

总结:

  • Different initializations lead to different results
  • Random initialization is used to break symmetry and make sure different hidden units can learn different things
  • Don't intialize to values that are too large
  • He initialization works well for networks with ReLU activations.

以上所述就是小编给大家介绍的《学习笔记:深度学习网络的优化-初始化参数》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

实用语义网

实用语义网

2009-2 / 59.00元

《实用语义网RDFS与OWL高效建模(英文版)》是语义网的入门教程,详细讲述语义网的核心内容的语言,包括语义网的概念、语义建模等。语义网的发展孕育着万维网及其应用的一场革命,作为语义网核心内容的语言:RDF和OWL,逐渐得到广泛的重视和应用。 《实用语义网RDFS与OWL高效建模(英文版)》对于任何对语义网感兴趣的专业技术人员都是十分难得的参考书。一起来看看 《实用语义网》 这本书的介绍吧!

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

SHA 加密
SHA 加密

SHA 加密工具