深度学习基础知识入门及案例代码实战-深度学习牛刀小试

版权声明：本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。QQ邮箱地址：1120746959@qq.com，如有任何学术交流，可随时联系。

1 神经网络基础知识整理

• RNN网络模型

  

• 概率函数

  

• Softmax分类器是不知道满足的分类器

• Softmax分类器计算步骤先exp，再归一化映射到概率值（0-1），最后计算损失函数Li

  0.13表示猫的概率，通过Li LOG函数变的越大，0.89 离正确类别越远。

  

• SVM与Softmax对比（SVM在10，9，9的结果中计算损失值，损失值将为0，分类效果将不会太好）

• 最优化问题（前向传播，从输入值到损失值的过程，前向传播已经得到初始的权重参数，然后反向传播将主导权重参数的变化）

• 梯度下降

• 反向传播（权重参数对最终的Loss值产生了多大影响，进行回馈调节）
• 链式法则（反向影响可以链式相乘）

• 反向传播计算法则

• 反向传播函数封装求解

  

• 反向传播基本规律

2 神经网络重要特点(激活函数才是决策者)

• 层次结构

  

• 非线性，只有非线性（激活函数）才能最终得到分类结果

  

• Sigmoid函数的弊端（梯度消失问题，w1为0.01时，w0已经不能被反馈更新）

• ReLu首选激活函数（x<0等于0）

  

3 神经网络展示结果

3.1 神经元对分类的影响

• 神经元为一个：

  

• 神经元为二个：

  

• 神经元为三个：

  

• 神经元20个，产生了过拟合问题

  

3.2 正则化的作用

3.3 数据的预处理

3.4 权重初始化（w采用高斯初始化或者随机初始化,b采用0初始化）

3.5 DROP-OUT过程(每次前项传播和后向传播根据保留率随机选择)

4 总结

方便复习，整成笔记，内容粗略，勿怪。

版权声明：本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。QQ邮箱地址：1120746959@qq.com，如有任何学术交流，可随时联系。

秦凯新 于深圳