【知识星球】千奇百怪的网络结构板块更新到哪里了？

(1) CNN起源网络。

从什么时候开始，才算是卷积神经网络的诞生呢？图像和语音又是如何受益于卷积神经网络，为什么网络要采用分层的设计，是谁开始使用最大池化？LeNet5为什么要加个5呢？难道还有1，2，3，4吗？除了分类数字，上个世纪的CNN还有其他用吗？

Neocognitron，TDNN，HMAX，Cresceptron等网络可以了解一下。

(2) 经典网络的发展。

为什么深度学习崛起从RBM开始？AlexNet诞生之前Alex同学在干什么？VGG怎么就想起来使用小卷积了呢？1*1卷积如何大发神通？

(3) 残差网络结构及其变种。

ResNet文章引用量已经过万了，但是你知道几十年前的shortcut connection早就已经在网络结构中使用了吗？LeCun大神们早就系统性研究过shortcut connection了吗？早在resnet之前的highway network已经训练过上1000层的深层模型了吗？残差网络的高度和宽度谁更加重要，残差的极致是什么？残差网络结构还有多少种玩法？

(4) 分组网络及其变种。

随着网络的能力越来越强，大家开始追求性价比了，研究表明分组卷积不仅强大，而且高效！分组卷积的起源到底是什么？卷积拆分和分组有什么相似和区别之处？从Xception到MobileNet真的有变化吗？多分辨率卷积核通道分组网络，多尺度通道分组网络，多精度通道分组网络，如何各自大显神通？这里还有很多很多的故事要讲。

(5) 非正常卷积。

谁说卷积核一定要方方正正，能不能从结构上设计出具有各种不变性的网络，且看大神们将来如何玩坏卷积方式，你不想了解一下吗？

(6) 其他。

网络宽度更加重要还是深度更加重要，图像分割模型都有哪些变种？这里只有想不到，没有看不到！