AlexNet论文阅读

栏目: 数据库 · 发布时间: 5年前

论文下载

这篇论文的背景作者在参加2010年的ImageNet比赛,当时作者取得了第二名的成绩

AlexNet论文阅读 摘要主要介绍了其神经网络的结构—— 5个卷积层 (每个卷积层($convolutional\ layers$)后面都跟有池化层($max-pooling\ layers$))和 三个全连接层 ,最后是一个1000维的softmax。然后作者还提到一个比较有意思的想法: "为了避免全连接层的过拟合,我们采用一种名为$dropout$的正则化方法"

引言和数据集的部分都不重要,这里就略过了

AlexNet论文阅读 第三部分开始简略介绍了AlexNet的 架构 ,其实就和摘要说的是一样,然后作者说他会把他网络中新奇的点接下来按照重要程度(重->轻)依次说明

AlexNet论文阅读 首先作者认为他网络最重要的部分是激励函数的选取。传统的激励函数是$tanh(x)$,他认为$tanh(x)$模型收敛太慢,所以改用收敛更快的 $Relu$函数 ,右边的图中虚线是$tanh(x)$函数,实线是$Relu$函数。使用$Relu$的四层神经网络比$tanh$在达到25%的误差时快6倍

AlexNet论文阅读 接着作者认为他们 多CPU并行计算 很重要,这一块主要是硬件,我个人感觉不是很重要,所以略过

AlexNet论文阅读 局部响应归一化 。" Relu不需要将输入层的数据进行归一化防止其饱和 "(这里我暂时不是很懂,先放一放)

AlexNet论文阅读 重叠池化 。传统池化的窗口大小$z*z$中的$z$等于池化的步长$s$。作者设置$z

AlexNet论文阅读 AlexNet论文阅读 整体架构 。文章中GPU部分我就直接略过了,直接看这个图很好理解。

第1卷积层使用96个核对224 × 224 × 3的输入图像进行卷积,核的大小是11 × 11 × 3,步长是4

第2卷积层使用用第1卷积层的输出(响应归一化和池化)作为输入

未完待续...


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Perl语言入门 第六版(中文版)

Perl语言入门 第六版(中文版)

Randal L.Schwartz、brian d foy、Tom Phoenix / 盛春 / 东南大学出版社 / 2012-3 / 62.00元

《Perl语言入门(第6版)(中文版)》根据作者施瓦茨、福瓦、菲尼克斯从1991年开始的教学经验积累汇聚而成,多年来十分畅销。此次第六版涵盖了最新的Perl5.14版本的变化。《Perl语言入门(第6版)(中文版)》每章都包含若干习题,帮助你巩固消化刚学到的知识。也许其他书籍只是想着灌输Perl编程的条条框框,但《Perl语言入门(第6版)(中文版)》不同,我们希望把你培养成一名真正的Perl程序......一起来看看 《Perl语言入门 第六版(中文版)》 这本书的介绍吧!

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具