内容简介：在pytorch中，optimization的模組提供了很多方式來進行網路的反向傳播，在這篇文章簡介常用的幾個方法．最廣為人知的一種．利用誤差和權重的偏微分，再乘上學習速率，就是權重的變化量． 在這邊符號說明：:權重
在pytorch中，optimization的模組提供了很多方式來進行網路的反向傳播，在這篇文章簡介常用的幾個方法．
SGD
最廣為人知的一種．利用誤差和權重的偏微分，再乘上學習速率，就是權重的變化量． 在這邊符號說明：
:權重
：學習速率
：梯度（gradient）
Ｊ：誤差
以下都會利用下面這個函數進行範例說明：
f(x,y)=-x²sin(x)+y²
用這個函數的目的是，它有很多的局部最小值，可以來展示這些優化方法大多只能求出局部最小值，無法求出全域最小值．
SGD的運算如下圖
可以用上面的算式求出權重的更新值．
以下是一些SGD的參數搭配：
下圖藍色點為起點，灰色點為終點，經過100次的迭代，在不同學習速率下的展示．
SGD with momentum
這個有兩種方法，一種是普通的momentum，另一種是NAG( Nesterov Accelerated Gradient)兩者都多了一個v的變數來計算權重，在這邊我們可以調整的參數有：
: momentum ratio
：學習速率
Momentum的計算範例如下：
而NAG的算法如下：
以下是一些參數調整範例：
我們發現NAG在收斂的時候，如果參數沒調好，就會不小心跑去其他的local miminum上面，這是個頗有趣的特性．
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
运营有道：重新定义互联网运营
李明轩 / 机械工业出版社 / 2017-7-31 / 69.00元
本书是前百度资深运营专家多年运营经验的总结，是作者运营千万级用户规模的大型互联网产品的实操经验复盘，是作者在“在行”上为近百位CEO和高管提供互联网运营咨询服务后对互联网运营需求的深入洞见。 本书的思想基础是“运营必须以用户为中心”，从产品、用户、市场3个维度对互联网运营重新进行了系统性的梳理：从道的层面解读并重新定义运营方法论，从术的层面围绕方法论提出行之有效的解决方法和实际案例。重点不在......一起来看看 《运营有道：重新定义互联网运营》 这本书的介绍吧!
