聊城建设银行官方网站,在线花钱做网站,购物网站常用功能模块介绍,网页制作教程和素材卷积神经网络#xff08;LeNet#xff09; LeNet 的简化版深层卷积神经网络#xff08;AlexNet#xff09; 从LeNet#xff08;左#xff09;到AlexNet#xff08;右#xff09;改进#xff1a;
dropOut层 - 不改变期望但是改变方差ReLU层 - 减缓梯度消失MaxPooling数…卷积神经网络LeNet LeNet 的简化版 深层卷积神经网络AlexNet 从LeNet左到AlexNet右 改进
dropOut层 - 不改变期望但是改变方差ReLU层 - 减缓梯度消失MaxPooling数据集数据增强
使用块的网络VGG 从AlexNet到VGG它们本质上都是块设计。 网络中的网络NiN) 对比 VGG 和 NiN 及它们的块之间主要架构差异 减少参数
含并行连结的网络GoogLeNet Inception块的架构 GoogLeNet架构 参数M浮点运算MFlopsinception0.161283 * 3 Conv0.443465 * 5 Conv1.22963
模型小 参数少 结构复杂代码多
V2 BN - V3 换卷积 - V4 加入残差
批量规范化BN
BN(x)γ⊙x−μ^Bσ^Bβ.\mathrm{BN}(\mathbf{x}) \boldsymbol{\gamma} \odot \frac{\mathbf{x} - \hat{\boldsymbol{\mu}}_\mathcal{B}}{\hat{\boldsymbol{\sigma}}_\mathcal{B}} \boldsymbol{\beta}.BN(x)γ⊙σ^Bx−μ^Bβ.
因此我们通常包含 拉伸参数scaleγ\boldsymbol{\gamma}γ 和偏移参数shiftβ\boldsymbol{\beta}β它们的形状与相同。
请注意γ\boldsymbol{\gamma}γ和β\boldsymbol{\beta}β是需要与其他模型参数一起学习的参数。 我们在方差估计值中添加一个小的常量ϵ0\epsilon 0ϵ0 以确保我们永远不会尝试除以零即使在经验方差估计值可能消失的情况下也是如此。
估计值μ^B\hat{\boldsymbol{\mu}}_\mathcal{B}μ^B和σ^B{\hat{\boldsymbol{\sigma}}_\mathcal{B}}σ^B 通过使用平均值和方差的噪声noise估计来抵消缩放问题。 乍看起来这种噪声是一个问题而事实上它是有益的。
出现背景backward时深层训练较快深层语义而浅层收敛慢简单纹理
思想让每一层尽量服从同一分布线性变换使模型比较稳定
作用作用在全连接特征维激活函数前mean X.mean(axis0)卷积层通道维激活函数前mean X.mean(axis(0, 2, 3), keepdimsTrue)
只能加速收敛不能够增强精度
预测过程中的批量规范化
残差网络ResNet 对于非嵌套函数类较复杂由较大区域表示的函数类不能保证更接近“真”函数$f^*$。这种现象在嵌套函数类中不会发生。 一个正常块左图和一个残差块右图 防止网络退化 包含以及不包含1 * 1卷积层的残差块。 稠密连接网络DenseNetDense-全连接
泰勒公式 f(x)f(0)f′(0)xf′′(0)2!x2f′′′(0)3!x3….f(x) f(0) f(0) x \frac{f(0)}{2!} x^2 \frac{f(0)}{3!} x^3 \ldots.f(x)f(0)f′(0)x2!f′′(0)x23!f′′′(0)x3….
ResNetf(x)xg(x).f(\mathbf{x}) \mathbf{x} g(\mathbf{x}).f(x)xg(x). ResNet左与 DenseNet右在跨层连接上的主要区别使用相加和使用连结 x→[x,f1(x),f2([x,f1(x)]),f3([x,f1(x),f2([x,f1(x)])]),…].\mathbf{x} \to \left[ \mathbf{x}, f_1(\mathbf{x}), f_2([\mathbf{x}, f_1(\mathbf{x})]), f_3([\mathbf{x}, f_1(\mathbf{x}), f_2([\mathbf{x}, f_1(\mathbf{x})])]), \ldots\right].x→[x,f1(x),f2([x,f1(x)]),f3([x,f1(x),f2([x,f1(x)])]),…]. 稠密连接
