深度学习基础知识入门及案例代码实战-深度学习牛刀小试

栏目: 数据库 · 发布时间: 7年前

内容简介:版权声明:本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客。QQ邮箱地址:1120746959@qq.com,如有任何学术交流,可随时联系。方便复习,整成笔记,内容粗略,勿怪。版权声明:本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客。QQ邮箱地址:1120746959@qq.com,

版权声明:本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客。QQ邮箱地址:1120746959@qq.com,如有任何学术交流,可随时联系。

1 神经网络基础知识整理

  • RNN网络模型

    深度学习基础知识入门及案例代码实战-深度学习牛刀小试
  • 概率函数

    深度学习基础知识入门及案例代码实战-深度学习牛刀小试
  • Softmax分类器是不知道满足的分类器

深度学习基础知识入门及案例代码实战-深度学习牛刀小试
  • Softmax分类器计算步骤先exp,再归一化映射到概率值(0-1),最后计算损失函数Li

    0.13表示猫的概率,通过Li LOG函数变的越大,0.89 离正确类别越远。

    深度学习基础知识入门及案例代码实战-深度学习牛刀小试
  • SVM与Softmax对比(SVM在10,9,9的结果中计算损失值,损失值将为0,分类效果将不会太好)

深度学习基础知识入门及案例代码实战-深度学习牛刀小试
  • 最优化问题(前向传播,从输入值到损失值的过程,前向传播已经得到初始的权重参数,然后反向传播将主导权重参数的变化)
深度学习基础知识入门及案例代码实战-深度学习牛刀小试
  • 梯度下降
深度学习基础知识入门及案例代码实战-深度学习牛刀小试
  • 反向传播(权重参数对最终的Loss值产生了多大影响,进行回馈调节)
  • 链式法则(反向影响可以链式相乘)
深度学习基础知识入门及案例代码实战-深度学习牛刀小试
深度学习基础知识入门及案例代码实战-深度学习牛刀小试
  • 反向传播计算法则
深度学习基础知识入门及案例代码实战-深度学习牛刀小试
  • 反向传播函数封装求解

    深度学习基础知识入门及案例代码实战-深度学习牛刀小试
  • 反向传播基本规律

深度学习基础知识入门及案例代码实战-深度学习牛刀小试

2 神经网络重要特点(激活函数才是决策者)

  • 层次结构
    深度学习基础知识入门及案例代码实战-深度学习牛刀小试
  • 非线性,只有非线性(激活函数)才能最终得到分类结果
    深度学习基础知识入门及案例代码实战-深度学习牛刀小试
  • Sigmoid函数的弊端(梯度消失问题,w1为0.01时,w0已经不能被反馈更新)
深度学习基础知识入门及案例代码实战-深度学习牛刀小试
  • ReLu首选激活函数(x<0等于0)
    深度学习基础知识入门及案例代码实战-深度学习牛刀小试

3 神经网络展示结果

3.1 神经元对分类的影响

深度学习基础知识入门及案例代码实战-深度学习牛刀小试
  • 神经元为一个:

    深度学习基础知识入门及案例代码实战-深度学习牛刀小试
  • 神经元为二个:

    深度学习基础知识入门及案例代码实战-深度学习牛刀小试
  • 神经元为三个:

    深度学习基础知识入门及案例代码实战-深度学习牛刀小试
  • 神经元20个,产生了过拟合问题

    深度学习基础知识入门及案例代码实战-深度学习牛刀小试

3.2 正则化的作用

深度学习基础知识入门及案例代码实战-深度学习牛刀小试

3.3 数据的预处理

深度学习基础知识入门及案例代码实战-深度学习牛刀小试

3.4 权重初始化(w采用高斯初始化或者随机初始化,b采用0初始化)

深度学习基础知识入门及案例代码实战-深度学习牛刀小试

3.5 DROP-OUT过程(每次前项传播和后向传播根据保留率随机选择)

深度学习基础知识入门及案例代码实战-深度学习牛刀小试

4 总结

方便复习,整成笔记,内容粗略,勿怪。

版权声明:本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客。QQ邮箱地址:1120746959@qq.com,如有任何学术交流,可随时联系。

秦凯新 于深圳


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

How to Solve It

How to Solve It

Zbigniew Michalewicz、David B. Fogel / Springer / 2004-03-01 / USD 59.95

This book is the only source that provides comprehensive, current, and detailed information on problem solving using modern heuristics. It covers classic methods of optimization, including dynamic pro......一起来看看 《How to Solve It》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

html转js在线工具
html转js在线工具

html转js在线工具

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试