网站开发是什,安全网站建设报价清单,dede网站重新安装,银川建网站ResNetResNeXt 一、ResNetⅠ.视频学习Ⅱ.论文阅读 二、ResNeXtⅠ.视频学习Ⅱ.论文阅读 三、猫狗大战Lenet网络Resnet网络 四、思考题 一、ResNet
Ⅰ.视频学习
ResNet在2015年由微软实验室提出#xff0c;该网络的亮点#xff1a;
1.超深的网络结构#xff08;突破1000层ResNeXt 一、ResNetⅠ.视频学习Ⅱ.论文阅读 二、ResNeXtⅠ.视频学习Ⅱ.论文阅读 三、猫狗大战Lenet网络Resnet网络 四、思考题 一、ResNet
Ⅰ.视频学习
ResNet在2015年由微软实验室提出该网络的亮点
1.超深的网络结构突破1000层
简单堆叠卷积层和池化层会导致梯度消失或梯度爆炸和退化问题 ResNet使用深度残差学习框架来解决退化问题。
2.提出residual模块 3.使用Batch Normalization加速训练丢弃dropout
Ⅱ.论文阅读 Deep Residual Learning for Image RecognitionCVPR2016 深度学习论文Deep Residual Learning for Image Recognition 深度学习经典论文分析六 网络不是越深越好,随着网络深度的增加精度会饱和然后迅速退化且这并不是由过拟合引起的。文中通过引入一个深度残差学习框架来解决退化问题。不是让网络直接拟合原先的映射而是拟合残差映射。实际上把残差推至0和把此映射逼近另一个非线性层相比要容易的多。
二、ResNeXt
Ⅰ.视频学习
1.更新block 2.组卷积
Ⅱ.论文阅读 Aggregated Residual Transformations for Deep Neural Networks CVPR 2017 Aggregated Residual Transformations for Deep Neural Networks论文翻译 【论文阅读】Aggregated Residual Transformations for Deep Neural Networks SainingResNext 现代的网络设计中通常会次堆叠类似结构从而减少网络中超参数的数量简化网络设计。
Inception使用了split-transform-merge策略即先将输入分成几部分然后分别做不同的运算最后再合并到一起。这样可以在保持模型表达能力的情况下降低运算代价。但是Inception的结构还是过于复杂了。
本文中提出了一个简单的架构它采用了 VGG/ResNets 的重复层策略同时以一种简单、可扩展的方式利用了 split-transform-merge 策略。网络中的一个模块执行一组转换每个转换都在一个低维嵌入上其输出通过求和聚合现——要聚合的变换都是相同的拓扑结构例如图 1右。这种设计允许我们在没有专门设计的情况下扩展到任何大量的转换。这种结构可以在保持网络的计算量和参数尺寸的情况下提高分类精度。
三、猫狗大战 猫狗大战–经典图像分类题 - AI算法竞赛-AI研习社 使用ResNet进行猫狗大战 使用Google的Colabpytorch Google Colab 中运行自己的py文件 Lenet网络 Resnet网络 四、思考题
1、Residual learning 的基本原理
Residual learning的基本原理是通过引入残差连接让神经网络可以学习残差而不是直接学习映射函数。这样可以解决深层网络训练中的退化问题。
2、Batch Normailization 的原理思考 BN、LN、IN 的主要区别。
Batch Normalization批归一化的原理是通过在网络的每个层输入前对其进行归一化使得输入的均值接近于0标准差接近于1。这有助于缓解梯度消失问题加速训练过程并且可以允许使用更高的学习率。
主要区别如下
BNBatch Normalization对每个Batch的数据进行标准化使其均值为0方差为1。该方法在网络训练时对每个batch的数据都进行标准化且归一化的均值和方差不固定是最常用的一种批标准化方法。
LNLayer Normalization对每一层的数据进行标准化使其均值为0方差为1。LN不采用批次维度计算均值和方差而是将整个层的数据作为一个标准化的对象。
INInstance Normalization对每个样本的每个通道的数据进行标准化使其均值为0方差为1。IN是针对图像生成任务提出的一种标准化方法将每个样本的所有像素点作为标准化的对象对每个通道的数据进行归一化。
3、为什么分组卷积可以提升准确率即然分组卷积可以提升准确率同时还能降低计算量分数数量尽量多不行吗
分组卷积将输入分成多个组每组内部进行卷积运算可以减少卷积层参数数量。 此外将卷积层的输入分成多个组可以让不同组之间学习不同的特征表示提取更多的信息。
过多的分组会导致每个子组的特征表达能力不足不利于关键特征的提取从而降低准确率。
