成都网站开发公司哪家好,做网站运营需要具备哪些能力,wordpress用户排行,网络服务商怎么查询一、简介
GoogleNet#xff0c;也称为GoogLeNet#xff0c;是谷歌工程师设计的一种深度神经网络结构#xff0c;它在2014年的ImageNet图像识别挑战赛中取得了冠军。该神经网络的设计特点主要体现在其深度和宽度上#xff0c;通过引入名为Inception的核心子网络结构#x…一、简介
GoogleNet也称为GoogLeNet是谷歌工程师设计的一种深度神经网络结构它在2014年的ImageNet图像识别挑战赛中取得了冠军。该神经网络的设计特点主要体现在其深度和宽度上通过引入名为Inception的核心子网络结构使得网络能够在多个尺度上提取特征从而增强了其预测能力。
AlexNet与VGG都只有一个输出层
GoogleNet有三个输出层其中两个为辅助分类器
二、inception结构
初始结构 之前的网络比如AlexNet和VGG都是串行结构将卷积层、最大池化下采样和全连接层连接起来。
但inception结构所使用的是并行结构在上一层输出之后将得到的特征矩阵同时输入到4个分支中进行处理处理之后将我们所得到的四个分支的特征矩阵按深度进行拼接得到输出特征矩阵 。
第一个分支是 1x1 大小的卷积核
第二个分支是 3x3 大小的卷积核
第三个分支是 5x5 大小的卷积核
第四个分支是 3x3 大小的池化核的最大池化下采样
通过这四个分支得到不同尺度的特征矩阵。
ps每个分支所得的特征矩阵高和宽必须相同否则无法沿深度方向进行拼接。
降维的inception结构
图中三个黄色方框的 1x1 卷积核起到降维的作用。 具体的降维原理
1、初始通道为512使用64个 5x5 的卷积核进行卷积。
所需要参数计算公式卷积核尺寸 x 输入特征矩阵的深度 x 卷积核的个数
第一种情况所需要的参数是 819200非常大的一个数值。
2、初始通道为512使用24个 1x1 的卷积核进行卷积再使用64个 5x5 的卷积核进行卷积。
先使用24个 1x1 的卷积核进行卷积对输入特征矩阵进行降维因为特征矩阵的深度是由卷积核的个数决定的 所以会将512深度变为24深度再进行计算所需要的参数个数。
将两部分使用卷积核的需要参数相加即为全部所需要的参数一共50688。
很明显通过使用 1x1 的卷积核进行降维之后所需要的参数大大减少。
降维的目的就是为了减少输入特征矩阵的深度从而减少卷积参数减少计算量。 三、辅助分类器
具体实现
1、池化层
第一层是一个平均池化下采样池化核 5x5 步距为3
第一个辅助分类器来自于 inception(4a) 的输出 14 x 14 x 512第二个辅助分类器来自于 inception(4d) 的输出 14 x 14 x 528。
根据矩阵尺寸大小计算公式 out (14 - 5 0) / 3 1
所以第一个辅助分类器的输出为 4 x 4 x 512
第二个辅助分类器的输出为 4 x 4 x 528。池化不改变特征矩阵的深度
2、卷积降维
采用128个卷积核大小为 1x1 的卷积层进行卷积处理目的是为了降低维度并且使用了relu激活函数。
3、全连接层
采用节点为1024的全连接层使用relu激活函数。
全连接层与全连接层之间使用dropout函数以 70% 的比例随机失活神经元。(百分比可根据具体情况更改比例)
4、输出
输出层的节点个数对应数据集的类别个数 再通过softmax激活函数得到概率分布。
图示说明
第一个辅助分类器来自于 inception(4a) 第二个辅助分类器来自于 inception(4d) 四、参数表格
第一列一系列层的名称
第二列卷积核或者是池化核的参数大小
第三列经过计算后的输出的特征矩阵的大小 辅助分类器中的参数 # 1 x 1 辅助分类器中1 x 1 卷积核的个数
# 3 x 3 reduce 在 3 x 3卷积前 1x1 卷积降维处理的个数
# 3 x 3 辅助分类器中3 x 3 卷积核的个数
# 5 x 5 reduce 在 5 x 5卷积前 1x1 卷积降维处理的个数
# 5 x 5 辅助分类器中5 x 5 卷积核的个数
# pool proj 在最大池化后进行的 1x1 卷积降维处理的个数
下图标注可帮助理解。 大家可以在网上找GoogleNet整个神经网络的图片再结合那一整张参数列表帮助自己更好的理解整个GoogleNet神经网络。
