内容简介：在pytorch中，optimization的模組提供了很多方式來進行網路的反向傳播，在這篇文章簡介常用的幾個方法．最廣為人知的一種．利用誤差和權重的偏微分，再乘上學習速率，就是權重的變化量． 在這邊符號說明：:權重
在pytorch中，optimization的模組提供了很多方式來進行網路的反向傳播，在這篇文章簡介常用的幾個方法．
SGD
最廣為人知的一種．利用誤差和權重的偏微分，再乘上學習速率，就是權重的變化量． 在這邊符號說明：
:權重
：學習速率
：梯度（gradient）
Ｊ：誤差
以下都會利用下面這個函數進行範例說明：
f(x,y)=-x²sin(x)+y²
用這個函數的目的是，它有很多的局部最小值，可以來展示這些優化方法大多只能求出局部最小值，無法求出全域最小值．
SGD的運算如下圖
可以用上面的算式求出權重的更新值．
以下是一些SGD的參數搭配：
下圖藍色點為起點，灰色點為終點，經過100次的迭代，在不同學習速率下的展示．
SGD with momentum
這個有兩種方法，一種是普通的momentum，另一種是NAG( Nesterov Accelerated Gradient)兩者都多了一個v的變數來計算權重，在這邊我們可以調整的參數有：
: momentum ratio
：學習速率
Momentum的計算範例如下：
而NAG的算法如下：
以下是一些參數調整範例：
我們發現NAG在收斂的時候，如果參數沒調好，就會不小心跑去其他的local miminum上面，這是個頗有趣的特性．
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
