内容简介：在pytorch中，optimization的模組提供了很多方式來進行網路的反向傳播，在這篇文章簡介常用的幾個方法．最廣為人知的一種．利用誤差和權重的偏微分，再乘上學習速率，就是權重的變化量． 在這邊符號說明：:權重
在pytorch中，optimization的模組提供了很多方式來進行網路的反向傳播，在這篇文章簡介常用的幾個方法．
SGD
最廣為人知的一種．利用誤差和權重的偏微分，再乘上學習速率，就是權重的變化量． 在這邊符號說明：
:權重
：學習速率
：梯度（gradient）
Ｊ：誤差
以下都會利用下面這個函數進行範例說明：
f(x,y)=-x²sin(x)+y²
用這個函數的目的是，它有很多的局部最小值，可以來展示這些優化方法大多只能求出局部最小值，無法求出全域最小值．
SGD的運算如下圖
可以用上面的算式求出權重的更新值．
以下是一些SGD的參數搭配：
下圖藍色點為起點，灰色點為終點，經過100次的迭代，在不同學習速率下的展示．
SGD with momentum
這個有兩種方法，一種是普通的momentum，另一種是NAG( Nesterov Accelerated Gradient)兩者都多了一個v的變數來計算權重，在這邊我們可以調整的參數有：
: momentum ratio
：學習速率
Momentum的計算範例如下：
而NAG的算法如下：
以下是一些參數調整範例：
我們發現NAG在收斂的時候，如果參數沒調好，就會不小心跑去其他的local miminum上面，這是個頗有趣的特性．
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
代码本色：用编程模拟自然系统
Daniel Shiffman / 周晗彬 / 人民邮电出版社 / 2014-10 / 99.00元
本书介绍了用计算机模拟自然系统涉及的编程策略与技术，涵盖了基本的数学和物理概念，以及可视化地展示模拟结果所需的高级算法。读者将从构建基本的物理引擎开始，一步一步地学习如何创建智能移动的物体和复杂的系统，为进一步探索生成设计奠定基础。相关的知识点包括力、三角、分形、细胞自动机、自组织和遗传算法。本书的示例使用基于Java的开源语言及开发环境Processing编写。本书网站http://www.na......一起来看看 《代码本色：用编程模拟自然系统》 这本书的介绍吧!
