网站 移动app开发,wordpress 下载服务器,网站开发用到的框架,世界十大著名服装设计师AlexNet是在2012年的ImageNet竞赛后#xff0c;整理发表的文章#xff0c;也是对CNN网络的衍生。
网络结构
AlexNet网络结构如下图所示#xff0c;网络分为了上下两部分#xff0c;对应两个不同的GPU训练#xff0c;可以更好的利用GPU算力。只有在特殊的网络层后#x…AlexNet是在2012年的ImageNet竞赛后整理发表的文章也是对CNN网络的衍生。
网络结构
AlexNet网络结构如下图所示网络分为了上下两部分对应两个不同的GPU训练可以更好的利用GPU算力。只有在特殊的网络层后两个网络层才进行交互上下网络之间网络结构差异不是很大。网络总共有8层分别是5层卷积、3层全连接。 论文中虽然显示图线是224*224*3但按照后面的数据推算应该输入的227*227*3的图像可能是当时写错了下面以227为例进行说明。 网络亮点 数据增强data augmentation
为了防止在有限的数据集与较深的网络结构下网络仍有一个较好的结果避免过拟合。论文中采用了两种数据增强的方式
第一种对图片镜像反射并裁剪。将原本256*256的图像镜像反射这样训练集翻倍针对原始图像和镜像图像在左上、右上、左下、右下、中间分别做了5次裁剪裁剪大小为224*224这样一张图片经过了1变2,2变10的增加完成的数据量级的增加。 第二种方式对图像中RGB数据做PCA处理对主成分做标准差为0.1的高斯扰动增加数据噪声。通过PCA的色彩增强方法使得图片的明亮程度会发生变化但并没有改变图片的结构。具体过程如下 一张图片为224*224*3我们对其做一个变换将其变成224*224行3列的大矩阵。 对上面的矩阵进行主成分分析获取排名top3的特征向量p和对应的特征值λ。 创建一个随机变量α使其满足均值为0方差1的高斯分布。 通过下面公式对图片中的像素点进行重新赋值。 该方法在每训练一次之后就会重新进行一次计算产生的图片也像在强光或弱光下的照片最终使得在top1错误率减少了1%以上。 激活函数
在神经网络中常用的激活函数有tanh()和sigmoid()函数这些饱和的非线性函数相对于非饱和的非线性函数max()等函数要慢很多因此最终使用了ReLU作为激活函数同时一定程度上解决了sigmoid函数带来的梯度弥散问题。
在使用ReLU的四层卷积网络在CIFAR-10训练集中error rate降到25%的时候比tanh快了六倍。 什么是饱和性 简单来说饱和性(saturating)是指对于输入函数的输出可以将其限定在一个范围内即其输出有最大值和最小值例如我们常见的sigmoid()-[0,1]输出在0~1之间。
非饱和性即输入的数值在通过函数之后没有被限定在一个范围即我们常见的ReLU()函数。从论文中的实验结果看也验证了非饱和性的速度更快一些。 Local Response Normalization(局部响应归一化)
局部归一化简称LRN可以带来泛化性能的提升公式如下 如下图是一组feature map其中黄色像素点的位置为ax,y计算相邻feature map相同位置的像素值取平方然后乘以α加上k做β次运算。论文中采用了k2n5α0.0001β0.75。 具体来说我们将k称作偏移量α称作缩放比例系数β称作超参数(影响归一化)。论文中在使用局部归一化后top1的错误率降低了1.4%top5的错误率降低了1.2%。 overlapping pooling(覆盖化的池化)
传统的CNN网络中池化核之间并不会重叠本网络中使用池化层大小为3*3stride为2这样池化核之间就会有重叠在top1和top5的实验中错误率分别降低了0.4%和0.3%在训练过程中也更加不易过拟合。
传统CNN中池化层一般会采用平均池化AlexNet使用了最大池化避免了平均池化带来的模糊化效果覆盖化的池化一定程度上提升了特征的丰富性。 Dropout
在全连接层中使用了Dropout关闭一些网络中的神经节点起到防止过拟合的作用。这些被关闭的神经元不再参与前向传播和反向传播。
因此在每次数据输入时网络的结构(神经元)都会有所不同但学习的权重一直都是在共享的状态。这种方式是的神经元不是依赖单个或某些神经元完成训练而是能有更大范围的鲁棒性因此很大程度上避免了过拟合。 GPU计算
网络使用了两个GPU进行训练减少了原有网络的训练时间网络一共8层其中绿色部分是上下两个GPU发生信息交互的位置。 权重动态调整
对于权重的动态调整采用了如下公式使得模型的训练误差得到了降低。 应用 定义模型结构
import torch.nn as nn
import torchclass AlexNet(nn.Module):def __init__(self, num_classes1000, init_weightsFalse):super(AlexNet, self).__init__()self.features nn.Sequential(# 卷积层1nn.Conv2d(3, 48, kernel_size11, stride4, padding2), nn.ReLU(inplaceTrue), # inplaceTrue 增加计算量降低了内存消耗nn.MaxPool2d(kernel_size3, stride2), # 卷积层2nn.Conv2d(48, 128, kernel_size5, padding2), nn.ReLU(inplaceTrue),nn.MaxPool2d(kernel_size3, stride2), # 卷积层3nn.Conv2d(128, 192, kernel_size3, padding1), nn.ReLU(inplaceTrue),# 卷积层4nn.Conv2d(192, 192, kernel_size3, padding1), nn.ReLU(inplaceTrue),# 卷积层5nn.Conv2d(192, 128, kernel_size3, padding1), nn.ReLU(inplaceTrue),nn.MaxPool2d(kernel_size3, stride2))self.classifier nn.Sequential(# 全连接层6nn.Dropout(p0.5),nn.Linear(128 * 6 * 6, 2048),nn.ReLU(inplaceTrue),# 全连接层7nn.Dropout(p0.5),nn.Linear(2048, 2048),nn.ReLU(inplaceTrue),# 全连接层8nn.Linear(2048, num_classes),)if init_weights:self._initialize_weights()def forward(self, x):x self.features(x)x torch.flatten(x, start_dim1)x self.classifier(x)return xdef _initialize_weights(self):# 遍历所有网络层结构for m in self.modules():# 如果属于卷积层使用如下方法初始化if isinstance(m, nn.Conv2d):nn.init.kaiming_normal_(m.weight, modefan_out, nonlinearityrelu)if m.bias is not None:nn.init.constant_(m.bias, 0)# 如果是全连接层使用如下方法初始化elif isinstance(m, nn.Linear):nn.init.normal_(m.weight, 0, 0.01)nn.init.constant_(m.bias, 0)
