扁平化 网站 模板,深圳市工程造价信息网,免备案网站,重庆拓达建设集团网站EfficientNet 系列
本文主要介绍 EffiicientNet 系列#xff0c;在之前的文章中#xff0c;一般都是单独增加图像分辨率或增加网络深度或单独增加网络的宽度#xff0c;来提高网络的准确率。而在 EfficientNet 系列论文中#xff0c;会介绍使用网络搜索技术(NAS)去同时探索…EfficientNet 系列
本文主要介绍 EffiicientNet 系列在之前的文章中一般都是单独增加图像分辨率或增加网络深度或单独增加网络的宽度来提高网络的准确率。而在 EfficientNet 系列论文中会介绍使用网络搜索技术(NAS)去同时探索网络的宽度(width)深度(depth)分辨率(resolution)对模型准确率的影响。以及如何加速训练推理速度。
EfficientNet V1 模型
EfficientNetV1:重点分析了卷积网络的深度宽度和输入图像大小对卷积网络性能表现的影响提出了一种混合模型尺度的方法通过设置一定的参数值平衡调节卷积网络的深度宽度和输入图像大小使卷积网络的表现达到最好。
复合模型缩放
单独适当增大深度、宽度或分辨率都可以提高网络的精确性但随着模型的增大其精度增益却会降低。此外这三个维度并不是独立的如高分辨率图像需要更深的网络来获取更细粒度特征等需要我们协调和平衡不同尺度的缩放而不是传统的一维缩放。EfficientNet 的设想就是能否设计一个标准化的卷积网络扩展方法既可以实现较高的准确率又可以充分的节省算力资源。其通过 NASNeural Architecture Search技术来搜索网络的图像输入分辨率 r网络的深度 depth 以及 channel 的宽度 width 三个参数的合理化配置。如下图所示(b)©(d)分别从不同的维度对 baseline 做 model scaling而这篇论文要做的是将这 3 者结合起来一起优化即(e)。 通过实验得出以下结论: 增加网络的 depth 能够得到更加丰富、复杂的高级语义特征并且能很好的应用到其他任务中去。但是网络的深度过深会面临梯度消失训练困难等问题。 增加网络的 width 能够获得更高细粒度的特征并且也更容易训练。但是对于宽度很大深度较浅的网络往往很难学习到更深层次的特征。例如我就只有一个 3×3 的卷积但是输出通道为 10000也没办法得到更为抽象的高级语义。 增加输入网络的图像分辨率能够潜在获得更高细粒度的特征模版图像分辨率越高能看到的细节就越多能提升分辨能力。但是对于非常高的输入分辨率准确率的增益也会减少。且大分辨率图像会增加网络的计算量注意不是参数量。
一个卷积网络的某一层 i i i 可以被定义为 Y i F i ( X i ) Y_{i}F_{i}(X_{i}) YiFi(Xi)
其中 X i X_{i} Xi 表示输入的 tensor其形状为 H i , W i , C i H_{i},W_{i},C_{i} Hi,Wi,Ci Y i Y_{i} Yi 是输出的 tensor。于是一个卷积网络 N N N 可以被表示成如下形式 N F k ⊙ . . . ⊙ F 2 ⊙ F 1 ( X 11 ) ⊙ j 1.... k F j ( X 1 ) NF_{k}\odot ...\odot F_{2}\odot F_{1}(X_{11})\odot_{j1....k}F_{j}(X_{1}) NFk⊙...⊙F2⊙F1(X11)⊙j1....kFj(X1) 但是在实际中ConvNets 的各个层通常被划分为多个 stage并且每个 stage 中的所有层都具有相同的体系结构例如 ResNet共有五个 stage除了第一层之外的每个 stage 的所有层都分别具有相同的卷积类型。
因此我们可以将 ConvNet 重新表示成如下形式 N ⨁ i 1... s F i L i ( X H i , W i , C i ) N \bigoplus_{i1...s}F_{i}^{L_i}(X_{H_{i},W_{i},C_{i}}) Ni1...s⨁FiLi(XHi,Wi,Ci) 其中 F i L i F_{i}^{L_{i}} FiLi 表示第 i i i 个 stage并且这个 stage 由 L i L_{i} Li 次的 F i F_{i} Fi相当于一层 layer操作构成。
通常 ConvNet 的设计焦点在 F i F_{i} Fi但是这篇文章的焦点或者说 Model Scaling 的焦点则是在模型的深度 L i L_{i} Li、宽度 C i C_{i} Ci和输入图片的大小 H i H_{i} Hi, W i W_{i} Wi而不改变在 baseline 中预先定义好的 F i F_{i} Fi。
通过固定 F i F_{i} Fi简化了对于新资源约束的 Model Scaling 设计问题但仍然有很大的设计空间来探索每一层的不同 L i L_{i} Li C i C_{i} Ci H i H_{i} Hi W i W_{i} Wi。为了进一步减小设计空间作者又限制所有层必须以恒定比率均匀地做 Scaling。目标是在任何给定的资源约束下最大化模型精度这可以表述为优化问题 m a x d , w , r A c c u r r a c y ( N ( d , w , r ) ) max_{d,w,r}Accurracy(N(d,w,r)) maxd,w,rAccurracy(N(d,w,r)) s . t . N ( d , w , r ) ⨁ i 1... s F ^ i d ⋅ L ^ i ( X r ⋅ H ^ i , r ⋅ W ^ i , w ⋅ C ^ i ) s.t. N(d,w,r) \bigoplus_{i1...s}\hat{F}_{i}^{d \cdot \hat{L}_{i}}(X_{r\cdot \hat{H}_{i},r\cdot\hat{W}_{i},w\cdot\hat{C}_{i}}) s.t.N(d,w,r)i1...s⨁F^id⋅L^i(Xr⋅H^i,r⋅W^i,w⋅C^i) M e m o r y ( N ) ≤ t a r g e t m e m o r y Memory(N)\leq target memory Memory(N)≤targetmemory F L O P S ( N ) ≤ t a r g e t f l o p s FLOPS(N)\leq target flops FLOPS(N)≤targetflops 其中:w,d,r 分别为 Model Scaling 的宽度深度和分辨率的系数 F ^ i \hat {F}_{i} F^i L ^ i \hat{L}_{i} L^i H ^ i \hat{H}_{i} H^i W ^ i \hat{W}_{i} W^i C ^ i \hat{C}_{i} C^i 是预先设定好的参数。
Scaling Dimensions
上述优化问题主要困难在于最佳的 dwr 是相互依赖的并且在不同的资源约束下会发生变化。由于这一困难常规方法通常会在网络深度layers宽度channel和输入图像的分辨率这三个维度之一来扩展 ConvNets。
Depth:缩放网络深度是一种常用的提高卷积网络精度的方法但是由于梯度消失问题更深层次的网络也更难训练。
下图左边显示了具有不同深度系数 d 的基线模型进行缩放的实证研究表明了增加网络层数到一定深度时精度并不能随之增加。
Width:小型模型通常使用缩放网络宽度来提取更多的特征然而非常宽但较浅的网络往往难以捕获更高层次的特征。下图中结果显示当网络越大w 变得越宽时精度迅速饱和。
Resolution:早期的图像大小以 224×224 开始现在常使用 299×299 或者 311×311。最近的创新480×480 的分辨率和 600×600 的分辨率。下图右是缩放网络分辨率的结果更高的分辨率的确提高了网络的精度但对于非常高的分辨率来说准确率的提高会减弱。 Compound Scaling
为了追求更好的精度和效率在连续网络缩放过程中平衡网络宽度、深度和分辨率的所有维度是至关重要的。如下图所示。 不同维度的 Scaling 并不相互独立需要协调和平衡不同维度的 Scaling而不是常规的单维度 Scaling。EfficientNet 提出了 compound scaling method复合缩放方法这种方法是通过一个复合系数φ去统一缩放网络的宽度深度和分辨率公式表示如下 d e p t h : d α φ depth:dα^{φ} depth:dαφ w i d t h : w β φ width:wβ^{φ} width:wβφ r e s o l u t i o n : r γ φ resolution:rγ^{φ} resolution:rγφ s . t . α ⋅ β 2 cot γ 2 ≈ 2 s.t. α\cdotβ^{2}\cotγ^{2}\approx 2 s.t.α⋅β2cotγ2≈2 α ≥ 1 , β ≥ 1 , γ ≥ 1 α\geq1,β\geq1,γ\geq1 α≥1,β≥1,γ≥1
其中α、β以及γ是常数可以通过在 baseline 上做 small grid search 来得到。ϕ 是用户指定的系数用于控制有多少其他计算资源可用于模型缩放而 αβγ 指定如何分别将这些额外资源分配给网络宽度深度和分辨率。
需要注意的是常规卷积运算的 FLOPS 与 d w 2 w^{2} w2 r 2 r^{2} r2 成正比即网络深度增加 1 倍会使 FLOPS 增加 1 倍网络宽度或分辨率增加 1 倍会使 FLOPS 增加 4 倍。
由于卷积运算通常在 ConvNets 中占主导地位因此根据上述的等式缩放 ConvNets 将使总 FLOPS 大约增加 ( α ⋅ β 2 ⋅ γ 2 ) ϕ (α⋅β^{2}⋅γ^{2})ϕ (α⋅β2⋅γ2)ϕ。在本文中作者做了 α ⋅ β 2 ⋅ γ 2 ≈ 2 α⋅β^{2}⋅γ^{2}≈2 α⋅β2⋅γ2≈2 的约束这样对于任何新的 ϕ 总 FLOPS 大约会增加 2 ϕ 2^{ϕ} 2ϕ。
SE 模块
如下图所示SE 模块由一个全局平均池化(AvgPooling)两个 FC 层组成。第一个全连接层的节点个数是 MBConv 模块的输入特征图 channels 的 $ \frac{1}{4}$ 且使用 Swish 激活函数。第二个全连接层的节点个数等于 MBConv 模块中 DWConv 层输出特征图的 channels且使用 Sigmoid 激活函数。简单理解SE 模块的总体思想是给每个特征图不同的权重关注更有用的特征。 # 注意力机制模块
class SqueezeExcitation(nn.Module):def __init__(self,input_c: int, # block input channel # 其对应的是 MBConv 模块输入的 channelexpand_c: int, # block expand channel # 因为之前的 DW 卷积不改变 channe所以其对应着 1x1 卷积输出的 channelsqueeze_factor: int 4): # squeeze_c其等于 input_c 的 channel 数的 1/4super(SqueezeExcitation, self).__init__()squeeze_c input_c // squeeze_factorself.fc1 nn.Conv2d(expand_c, squeeze_c, 1) # 此处使用卷积来达到全连接层的目的所以 kernel_size 为 1 此处与 ModileNet 中的注意力机制的输入 channel 的选择存在差异self.ac1 nn.SiLU() # alias Swishself.fc2 nn.Conv2d(squeeze_c, expand_c, 1)self.ac2 nn.Sigmoid()def forward(self, x: Tensor) - Tensor:scale F.adaptive_avg_pool2d(x, output_size(1, 1))scale self.fc1(scale)scale self.ac1(scale)scale self.fc2(scale)scale self.ac2(scale)return scale * x网络结构实现
以 EfficientNet-B0 baseline 网络结构为例在 B0 中一共分为 9 个 stage表中的卷积层后默认都跟有 BN 以及 Swish 激活函数。stage 1 就是一个 3×3 的卷积层。对于 stage 2 到 stage 8 就是在重复堆叠 MBConv。 Conv 1x1, s1 层一个 1x1 的标准卷积用于降维然后通过一个 BN没有 swish 激活函数。 Droupout 层其 dropout_rate 对应的是 drop_connect_rateshortcut 连接执行 add 操作。
# MBConvm 模块的配置类
class InvertedResidualConfig:# kernel_size, in_channel, out_channel, exp_ratio, strides, use_SE, drop_connect_ratedef __init__(self,kernel: int, # 3 or 5 DW 卷积的 kernel_size,可能为 3x3 或者 5x5input_c: int, # 表示输入 MBConvm 模块的 channelout_c: int, # 表示 MBConvm 模块的输出 channelexpanded_ratio: int, # 1 or 6 表示 MBConvm 模块内第一个 1x1 卷积层维度扩展输出的 channel 的扩展因子stride: int, # 1 or 2 DW 卷积的步距use_se: bool, # Truedrop_rate: float, # # 表示 MBConvm 模块中的丢弃层随机失活比例index: str, # 1a, 2a, 2b, ...width_coefficient: float): # 网络宽度的倍率因子即 channel 数 xnself.input_c self.adjust_channels(input_c, width_coefficient)self.expanded_c self.input_c * expanded_ratio # expanded_ratio1 or 6 表示 MBConvm 模块内第一个 1x1 卷积层维度扩展输出的 channel 的扩展因子self.kernel kernelself.out_c self.adjust_channels(out_c, width_coefficient)self.use_se use_seself.stride strideself.drop_rate drop_rateself.index indexstaticmethoddef adjust_channels(channels: int, width_coefficient: float): # width_coefficient: float): # 网络宽度的倍率因子即 channel 数 xnreturn _make_divisible(channels * width_coefficient, 8)# MBConvm 模块类
class InvertedResidual(nn.Module):def __init__(self,cnf: InvertedResidualConfig,norm_layer: Callable[..., nn.Module]):super(InvertedResidual, self).__init__()if cnf.stride not in [1, 2]:raise ValueError(illegal stride value.)self.use_res_connect (cnf.stride 1 and cnf.input_c cnf.out_c) # 判断是否进行 shortCut 连接 cnf.stride 1表示输出矩阵的高与宽是不会发生变化的layers OrderedDict() # 定义一个有序的字典activation_layer nn.SiLU # alias Swish# expandif cnf.expanded_c ! cnf.input_c: # 即当 nexpanded_ratio1 时其不需要升高维度# MBConv 模块中的第一个 1x1 卷积层layers.update({expand_conv: ConvBNActivation(cnf.input_c,cnf.expanded_c, # 进行升高维度kernel_size1,norm_layernorm_layer,activation_layeractivation_layer)})# depthwiselayers.update({dwconv: ConvBNActivation(cnf.expanded_c,cnf.expanded_c,kernel_sizecnf.kernel,stridecnf.stride,groupscnf.expanded_c,norm_layernorm_layer,activation_layeractivation_layer)})if cnf.use_se:# 添加注意力机制layers.update({se: SqueezeExcitation(cnf.input_c,cnf.expanded_c)})# project# 注意力机制后再加一个 1x1 的卷积layers.update({project_conv: ConvBNActivation(cnf.expanded_c,cnf.out_c,kernel_size1,norm_layernorm_layer,activation_layernn.Identity)}) # 该层之后未使用激活函数所以使用 nn.Identity表示不做任何处理self.block nn.Sequential(layers)self.out_channels cnf.out_cself.is_strided cnf.stride 1# 只有在使用 shortcut 连接时才使用 dropout 层if self.use_res_connect and cnf.drop_rate 0:self.dropout DropPath(cnf.drop_rate)else:self.dropout nn.Identity()def forward(self, x: Tensor) - Tensor:result self.block(x)result self.dropout(result)if self.use_res_connect:result xreturn resultEfficientNet V2 模型
EfficientNet V2该网络主要使用训练感知神经结构搜索和缩放的组合在 EfficientNetV1 的基础上引入了 Fused-MBConv 到搜索空间中引入渐进式学习策略、自适应正则强度调整机制使得训练更快进一步关注模型的推理速度与训练速度。
训练感知 NAS 和缩放
NAS 搜索
这里采用的是 trainning-aware NAS framework搜索工作主要还是基于之前的 Mnasnet 以及 EfficientNet. 但是这次的优化目标联合了 accuracy、parameter efficiency 以及 trainning efficiency 三个维度。这里是以 EfficientNet 作为 backbone设计空间包含: convolutional operation type : MBConv, Fused-MBConv number of layer kernel size : 3x3, 5x5 expansion ratio : 1, 4, 6
另外作者通过以下方法来减小搜索空间的范围
移除不需要的搜索选项重用 EfficientNet 中搜索的 channel sizes接着在搜索空间中随机采样了 1000 个模型并针对每个模型训练 10 个 epochs使用较小的图像尺度。搜索奖励结合了模型准确率 A标准训练一个 step 所需时间 S 以及模型参数大小 P奖励函数可写成 A ⋅ S w ⋅ P v A \cdot S^{w}\cdot P^{v} A⋅Sw⋅Pv
其中A 是模型精度、S 是归一化训练时长P 是参数量w-0.07 和 v-005。
与 V1 的不同
1.除了使用 MBConv 之外还使用了 Fused-MBConv 模块加快训练速度与提升性能。
2.使用较小的 expansion ratio (之前是 6)从而减少内存的访问量。
3.趋向于选择 kernel 大小为 3 的卷积核但是会增加多个卷积用以提升感受野。
4.移除了最后一个 stride 为 1 的 stage从而减少部分参数和内存访问。
EfficientNetV2 缩放
作者在 EfficientNetV2-S 的基础上采用类似 EfficientNet 的复合缩放并添加几个额外的优化得到 EfficientNetV2-M/L。
额外的优化描述如下
1.限制最大推理图像尺寸为 480。
2.在网络的后期添加更多的层提升模型容量且不引入过多耗时。
训练速度比较
如下图所示EfficientNetV2 模型在 ImageNet 上 top-1 acc 和 train step time这里的训练采用固定的图像大小不过比推理时图像大小降低 30%而图中的 EffNet(reprod)也是采用这样的训练策略可以看到比 baseline 训练速度和效果均有明显提升而 EfficientNetV2 在训练速度和效果上有进一步地提升。 渐进式学习
除了模型设计优化论文还提出了一种 progressive learning 策略来进一步提升 EfficientNet v2 的训练速度简单来说就训练过程渐进地增大图像大小但在增大图像同时也采用更强的正则化策略训练的正则化策略包括数据增强和 dropout 等。
不同的图像输入采用不同的正则化策略这不难理解在早期的训练阶段我们用更小的图像和较弱的正则化来训练网络这样网络就可以轻松、快速地学习简单的表示。然后我们逐渐增加图像的大小但也通过增加更强的正则化使学习更加困难。从下表中可以看到大的图像输入要采用更强的数据增强而小的图像输入要采用较轻的数据增强才能训出最优模型效果。
Size128Size192Size300RandAug magnitude578.3 ± \pm ± 0.1681.2 ± \pm ± 0.0682.5 ± \pm ± 0.05RandAug magnitude1078.0 ± \pm ± 0.0881.6$\pm$0.0882.7 ± \pm ± 0.08RandAug magnitude1577.7 ± \pm ± 0.1581.5$\pm$0.0583.2 ± \pm ± 0.09
结论
1即使是相同的网络较小的图像尺寸会导致较小的网络容量因此需要较弱的正则化。
2反之较大的图像尺寸会导致更多的计算而容量较大因此更容易出现过拟合。
3当图像大小较小时弱增强的精度最好但对于较大的图像更强的增强效果更好。
自适应正则化
在早期训练阶段使用较小的图像大小和较弱的正则化训练网络这样网络可以轻松快速地学习简单表示。然后逐渐增加图像大小但也通过添加更强的正则化使学习更加困难。在逐步改进图像大小的基础上自适应地调整正则化。假设整个训练有 N 个步骤目标图像大小为 S e S_{e} Se 正则化大小 Φ e ϕ e Φ_{e}{ϕ_{e}^{}} Φeϕe 这里 k 表示一种正则化类型例如 dropout rate or mixup rate value。将训练分为 M 个阶段对于每个阶段 1 ≤ i ≤ M 1≤i≤M 1≤i≤M 利用图像大小 Si 和正则化幅度对模型进行训练 Φ i ϕ i k Φ_{i}{ϕ_{i}^{k}} Φiϕik 最后阶段 M M M 将图像大小 S e S_{e} Se 和正则化 Φ e Φ_{e} Φe 为了简单起见启发式地选择初始图像大小 S 0 S_{0} S0, Φ 0 Φ_{0} Φ0 然后使用线性插值来确定每个阶段的值算法 1 总结了该过程。在每个阶段开始网络将集成前一阶段的所有权重与 trasnformer 不同trasnformer 的权重例如位置嵌入可能取决于输入长度ConvNet 的权重与图像大小无关可以轻松继承。本文中主要研究了以下三种正则Dropout、RandAugment 以及 Mixup。 dropout一种网络级的正规化通过随机丢弃通道来减少共同适应(co-adaptation)。我们将调整 dropout 率。 RandAugment对每幅图像分别做幅度可调的数据增强。 Mixup图像与图像相互作用的数据增强。给定带有标签的两幅图像 ( x i , y i ) (x_{i},y_{i}) (xi,yi) 和 ( x j , y j ) (x_{j},y_{j}) (xj,yj)Mixup 根据混合比将两者混合 x i ~ λ x j ( 1 − λ ) x i \widetilde{x_{i}}λx_{j}(1-λ)x_{i} xi λxj(1−λ)xi y i ~ λ y j ( 1 − λ ) y j \widetilde{y_{i}}λy_{j}(1-λ)y_{j} yi λyj(1−λ)yj。我们将在训练期间调整混合比λ。
网络结构实现
EfficientNet V2 在除了使用 MBConv 之外在网络浅层使用了 Fused-MBConv 模块加快训练速度与提升性能使用较小的 expansion ratio(从 V1 版本的 6 减小到 4)从而减少内存的访问量 偏向使用更小的 3×3 卷积核(V1 版本存在很多 5×5)并堆叠更多的层结构以增加感受野移除步长为 1 的最后一个阶段(V1 版本中 stage8)因为它的参数数量过多需要减少部分参数和内存访问。
# 反残差结构 FusedMBConv:3×3 膨胀卷积层BN 层Swish 激活函数1×1 点卷积层BN 层
class FusedMBConvBlock(nn.Module):def __init__(self,kernel, # 卷积核大小input_c, # 输入通道数out_c, # 输出通道数expand_ratio, # 膨胀系数 1 or 4stride, # 卷积核步长se_ratio, # 启用 se 注意力模块drop_rate, # 通道随机失活率norm_layer): # 归一化层super(FusedMBConvBlock, self).__init__()# 膨胀通道数 输入通道数*膨胀系数expanded_c input_c * expand_ratio# 步长必须是 1 或者 2assert stride in [1, 2]# 没有 se 注意力模块assert se_ratio 0# 深度卷积步长为 2 则没有 shortcut 连接self.use_res_connect stride 1 and input_c out_cself.drop_rate drop_rateself.has_expansion expand_ratio ! 1layers OrderedDict()# Swish 激活函数activation_layer nn.SiLU# 只有当 expand ratio 不等于 1 时才有膨胀卷积if self.has_expansion:# 3×3 膨胀卷积(膨胀系数1) 升维layers.update({expand_conv: ConvBNAct(input_c,expanded_c,kernel_sizekernel,norm_layernorm_layer,activation_layeractivation_layer)})# 1×1 点卷积layers.update({project_conv: ConvBNAct(expanded_c,out_c,kernel_size1,norm_layernorm_layer,activation_layernn.Identity)}) # 注意没有激活函数else:# 当没有膨胀卷积时,3×3 点卷积layers.update({project_conv: ConvBNAct(input_c,out_c,kernel_sizekernel,norm_layernorm_layer,activation_layeractivation_layer)}) # 注意有激活函数self.block nn.Sequential(layers)if self.use_res_connect and drop_rate 0:self.drop_connect DropConnect(drop_rate)# 只有在使用 shortcut 连接时才使用 drop_connect 层if self.use_res_connect and drop_rate 0:self.drop_connect DropConnect(drop_rate)else:self.drop_connect nn.Identity()def forward(self, x):result self.block(x)result self.drop_connect(result)# 反残差结构随机失活if self.use_res_connect:result xreturn result如果您想了解更多AI知识与AI专业人士交流请立即访问昇腾社区官方网站https://www.hiascend.com/或者深入研读《AI系统原理与架构》一书这里汇聚了海量的AI学习资源和实践课程为您的AI技术成长提供强劲动力。不仅如此您还有机会投身于全国昇腾AI创新大赛和昇腾AI开发者创享日等盛事发现AI世界的无限奥秘~
