内容简介：在pytorch中，optimization的模組提供了很多方式來進行網路的反向傳播，在這篇文章簡介常用的幾個方法．最廣為人知的一種．利用誤差和權重的偏微分，再乘上學習速率，就是權重的變化量． 在這邊符號說明：:權重
在pytorch中，optimization的模組提供了很多方式來進行網路的反向傳播，在這篇文章簡介常用的幾個方法．
SGD
最廣為人知的一種．利用誤差和權重的偏微分，再乘上學習速率，就是權重的變化量． 在這邊符號說明：
:權重
：學習速率
：梯度（gradient）
Ｊ：誤差
以下都會利用下面這個函數進行範例說明：
f(x,y)=-x²sin(x)+y²
用這個函數的目的是，它有很多的局部最小值，可以來展示這些優化方法大多只能求出局部最小值，無法求出全域最小值．
SGD的運算如下圖
可以用上面的算式求出權重的更新值．
以下是一些SGD的參數搭配：
下圖藍色點為起點，灰色點為終點，經過100次的迭代，在不同學習速率下的展示．
SGD with momentum
這個有兩種方法，一種是普通的momentum，另一種是NAG( Nesterov Accelerated Gradient)兩者都多了一個v的變數來計算權重，在這邊我們可以調整的參數有：
: momentum ratio
：學習速率
Momentum的計算範例如下：
而NAG的算法如下：
以下是一些參數調整範例：
我們發現NAG在收斂的時候，如果參數沒調好，就會不小心跑去其他的local miminum上面，這是個頗有趣的特性．
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
数值方法和MATLAB实现与应用
拉克唐瓦尔德 / 机械工业出版社 / 2004-9 / 59.00元
本书是关于数值方法和MATLAB的介绍，是针对高等院校理工科专业学生编写的教材。数值方法可以用来生成其他方法无法求解的问题的近似解。本书的主要目的是为应用计算打下坚实的基础，由简单到复杂讲述了标准数值方法在实际问题中的实现和应用。本书通篇使用良好的编程习惯向读者展示了如何清楚地表达计算思想及编制文档。书中通过给读者提供大量的可直接运行的代码库以及讲解MARLAB工具箱中内置函数使用的数量方法，帮助......一起来看看 《数值方法和MATLAB实现与应用》 这本书的介绍吧!
