一、发展

1989年，Yann LeCun提出了一种用反向传导进行更新的卷积神经网络，称为LeNet。

1998年，Yann LeCun提出了一种用反向传导进行更新的卷积神经网络，称为LeNet-5

AlexNet是2012年ISLVRC 2012（ImageNet Large Scale Visual Recognition  Challenge）竞赛的冠军网络，分类准确率由传统的 70%+提升到 80%+。 它是由Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后，深度学习开始迅速发展。

VGG在2014年由牛津大学著名研究组VGG (Visual Geometry  Group) 提出，斩获该年ImageNet竞 赛中 Localization Task (定位 任务) 第一名 和 Classification Task (分类任务) 第二名。[1.38亿个参数]

GoogLeNet在2014年由Google团队提出，斩获当年ImageNet竞赛中Classification Task (分类任务) 第一名。[论文：Going deeper with convolutions][600多万参数]

ResNet在2015年由微软实验室提出，斩获当年ImageNet竞赛中 分类任务第一名，目标检测第一名。获得COCO数据集中目标 检测第一名，图像分割第一名。[论文：Deep Residual Learning for Image Recognition]

二、ResNet

2.1 网络特点

• 超深的网络结构(突破1000层)
• 提出residual模块
• 使用Batch Normalization加速训练(丢弃dropout)

 正常网络，网络越深，错误率越高；而ResNet是网络越深，错误率越低

梯度消失或梯度爆炸问题：BN解决

退化问题：残差解决

F(x)是卷积对x的结果，最终结果是x+F(x)

如果网络效果变好：x+F(x)

如果加上网络不好：x+ 0

2.2 残差

左边是基础的残差结构

右边是改进的结构，减少参数

实线与虚线

实线是，图片输入与输出维度不变 

虚线是，图片整体长宽的下降

2.3 BN

Batch Normalization的目的是使我们的一批（Batch）  feature map满足均值为0，方差为1的分布规律[参考]。