discuz视频网站模板,怎样修改网站关键词,自助游网站开发分析报告,网站即时到账要怎么做transform网络结构 vision transform网络结构 图1#xff1a;模型概述。我们将图像分割成固定大小的补丁#xff0c;线性嵌入每个补丁#xff0c;添加位置嵌入#xff0c;并将结果向量序列馈送到标准Transformer编码器。为了执行分类#xff0c;我们使用标准方法向序列中添…transform网络结构 vision transform网络结构 图1模型概述。我们将图像分割成固定大小的补丁线性嵌入每个补丁添加位置嵌入并将结果向量序列馈送到标准Transformer编码器。为了执行分类我们使用标准方法向序列中添加一个额外的可学习的“分类令牌”。
补丁生成与嵌入向量 这段代码的功能是从一个图像张量中提取固定大小的 patch并将这些 patch 转换为特定的排列形式。下面逐步说明这段代码的操作 vision transform实验
我们评估了ResNet、Vision Transformer ViT和hybrid的表示学习能力。为了了解每个模型的数据需求我们在不同大小的数据集上进行预训练并评估许多基准任务。当考虑到预训练模型的计算成本时ViT表现非常好以较低的预训练成本在大多数识别基准上达到最先进的水平。最后我们使用自我监督进行了一个小实验并表明自我监督的ViT在未来是有希望的。
设置
数据集。
为了探索模型的可扩展性我们使用了具有1k个类和1.3M张图像的ILSVRC-2012 ImageNet数据集我们在下文中将其称为ImageNet具有21k个类和14M张图像Deng等人2009的超集ImageNet-21k以及具有18k个类和303M张高分辨率图像的JFTSun等人2017。我们根据Kolesnikov等人2020的研究将预训练数据集与下游任务的测试集进行去重。我们将在这些数据集上训练的模型转移到几个基准任务中原始验证标签和清理后的ReaL标签上的ImageNetBeyer等人2020、CIFAR-10/100Krizhevsky2009、Oxford IIIT PetsParkhi等人2012和Oxford Flowers-102NilsbackZisserman2008。对于这些数据集预处理遵循Kolesnikov等人2020的研究。
我们还对19个任务的VTAB分类套件进行了评估Zhai等人2019b。VTAB使用每个任务1000个训练示例来评估向不同任务的低数据传输。任务分为三组自然任务、宠物任务、CIFAR任务等。专业——医学和卫星图像以及结构化——需要几何理解的任务如定位。
模型变体
我们将ViT配置基于用于BERT的配置Devlin等人2019如表1所示。“Base”和“Large”模型直接采用BERT我们添加了更大的“Huge”模型。在下文中我们使用简短的符号来表示模型大小和输入补丁大小例如ViT-L/16表示输入补丁大小为16×16的“大”变体。请注意Transformer的序列长度与补丁大小的平方成反比因此补丁大小较小的模型在计算上更昂贵 对于基线CNN我们使用ResNetHe等人2016但用组归一化WuHe2018替换批归一化层IoffeSzegedy2015并使用标准化卷积Qiao等人2019。这些修改改善了传输Kolesnikov等人2020我们将修改后的模型称为“ResNetBiT”。对于混合体我们将中间特征图输入ViT补丁大小为一个“像素”。为了尝试不同的序列长度我们要么i取常规ResNet50的第4阶段的输出要么ii删除第4阶段在第3阶段放置相同数量的层保持总层数然后取这个扩展的第3阶段的输出。选项ii导致序列长度增加4倍ViT模型更昂贵
训练和微调。我们使用AdamKingmaBa2015训练所有模型包括ResNets其中β10:9β20:999批量大小为4096并应用0.1的高权重衰减我们发现这对所有模型的转移都很有用附录D.1显示与常见做法相比Adam在我们的环境中对ResNets的效果略好于SGD。我们使用线性学习率预热和衰减详见附录B.1。为了进行微调我们使用动量SGD批量大小为512适用于所有型号请参阅附录B.1.1。对于表2中的ImageNet结果我们以更高的分辨率进行了微调ViT-L/16为512ViT-H/14为518还使用了Polyak和Juditsky1992的平均值系数为0:9999Ramachandran等人2019Wang等人2020b。 微调准确率Fine-tuning accuracy 微调指的是在已经训练好的模型基础上进一步在目标数据集上训练以调整模型参数。这种方法通常需要较长的训练时间但它能通过调整模型参数适应特定任务从而提升准确性。
少量示例学习准确率Few-shot accuracy 在少量示例学习中模型通常只用少数样本少量数据来进行学习而不进行完全的微调。在这里作者采用的是一种正则化的最小二乘回归问题来优化模型表现。这种方法通过冻结模型的特征表示仅通过少量数据来找到与目标向量的映射关系通常计算效率较高。
目的 微调通常提供更好的准确性但代价较高需要更多的计算资源和时间。 少量示例学习用来快速评估模型的表现特别是在微调过于昂贵或耗时的情况下。通过线性回归的方式可以在较短时间内获得一个近似的结果。
与最新技术的比较
我们首先将我们最大的型号ViT-H/14和ViT-L/16与文献中最先进的CNN进行比较。第一个比较点是大迁移BiTKolesnikov等人2020它使用大ResNets进行监督迁移学习。第二个是Noisy StudentXie等人2020它是一个大型的EfficientNet在ImageNet和JFT300M上使用半监督学习进行训练并去除标签。目前Noisy Student是ImageNet和BiT-L上其他数据集的最新技术。所有模型都是在TPUv3硬件上训练的我们报告了预训练每个模型所需的TPUv3核心天数即用于训练的TPU v3核心数量每个芯片2个乘以训练时间以天为单位
表2显示了结果。在JFT-300M上预训练的较小ViT-L/16模型在所有任务上都优于BiT-L在同一数据集上预训练同时训练所需的计算资源要少得多。更大的型号ViT-H/14进一步提高了性能特别是在更具挑战性的数据集上——ImageNet、CIFAR-100和VTAB套件。有趣的是该模型的预训练计算量仍然比现有技术少得多。然而我们注意到预训练效率不仅可能受到架构选择的影响还可能受到其他参数的影响如训练计划、优化器、权重衰减等。我们在第4.4节中提供了不同架构的性能与计算的对照研究。最后在公共ImageNet-21k数据集上预训练的ViT-L/16模型在大多数数据集上也表现良好同时预训练所需的资源更少它可以在大约30天内使用具有8个核心的标准云TPUv3进行训练。
检查视觉变换器Vision Transformer
为了理解视觉变换器如何处理图像数据我们分析其内部表示。视觉变换器的第一层将展平的图像块投影到一个低维空间公式1。图7左展示了学习到的嵌入滤波器的主要成分这些成分类似于图像块中细致结构的低维表示的合理基函数。 ViT-L/32 RGB值的初始线性嵌入滤波器。
在投影之后学习到的位置嵌入被添加到图像块表示中。图7中显示了模型学习如何根据位置嵌入之间的相似性来编码图像内的距离。即较近的块通常会有相似的位置嵌入。进一步地行列结构出现同一行/列中的块具有相似的嵌入。最后对于较大的网格正弦结构有时会显现附录D。位置嵌入学习表示2D图像拓扑解释了为何手工设计的2D感知嵌入变体未能带来改进附录D.4。 自注意力使得ViT能够在最低层集成整个图像的信息。我们研究了网络在多大程度上利用了这一能力。具体来说我们计算了信息在图像空间中的平均距离图7右。这一“注意力距离”类似于CNN中的感受野大小。我们发现一些注意力头会关注已经图像的绝大部分表明模型确实具备整合全局信息的能力。其他注意力头则集中于低层中的信息这种高度局部化的注意力在应用ResNet混合模型之前的Transformer中更为明显图7右这表明它可能在早期卷积层中具有类似的功能。进一步地模型在图像区域的关注表现出与图像分类相关的区域图6
局部与全局信息的整合 不同的注意力头会分别处理图像的局部细节和全局信息部分头部关注整个图像其他头部则集中在更小的区域上。这表明ViT模型能够有效地在图像的不同区域内进行信息整合
