网站建设分解结构,wordpress 模型,国内永久免费crm不实名认证,手机视频制作软件排名在计算机视觉任务中#xff0c;空间域注意力通常关注图像中不同位置的重要性#xff0c;例如突出图像中的关键对象或区域。而通道域注意力则侧重于不同通道#xff08;特征图#xff09;的重要性#xff0c;决定哪些特征对于任务更具判别力。混合域注意力机制结合了空间域…在计算机视觉任务中空间域注意力通常关注图像中不同位置的重要性例如突出图像中的关键对象或区域。而通道域注意力则侧重于不同通道特征图的重要性决定哪些特征对于任务更具判别力。混合域注意力机制结合了空间域注意力机制与通道注意力机制。它同时考虑空间和通道维度的重要性通过学习每个空间位置和通道的权重动态调整特征图中不同位置和通道的重要性以增强模型对视觉任务的表达能力和性能。 具体来说它通常会经过以下步骤实现1. 输入假设输入特征图的尺寸为C×H×W其中C是通道数H和W分别是高度和宽度。2. 计算空间域注意力空间注意力权重通过对特征图的空间位置进行分析得到。3.计算通道注意力 通道注意力权重则通过对特征图的通道进行分析例如使用全局平均池化或全局最大池化来汇总通道信息然后经过全连接层等操作生成权重。4. 特征加权融合将得到的空间和通道注意力权重与原始特征图相乘实现对特征的重新加权和聚焦。 下面分享几篇经典的混合域注意力机制论文。
1.CBAM: Convolutional Block Attention Module
论文地址https://arxiv.org/abs/1807.06521
文章中提出注意力机制不仅能够提示网络应该关注那些区域还能够增强这些区域的重要性。所以本文结合注意力机制提出了一个新的网络模块CBAM通过关注通道和空间信息来达到增强有效的特征抑制不太有效的特征。 图1 如图1所示CBAM的结构由两部分组成。一是通道注意力模块Channel attention module二是空间注意力模块Spatial attention module。下面就来看看这两部分的结构。
1.通道注意力模块Channel attention module 图2 如图2所示通道空间注意力模块由三个操作组成。具体来说首先分别使用全局平均池化和全局最大池化生成两个不同的空间描述符和用来代表空间信息。然后将和送入到一个共享的MLP当中去生成不同的通道注意力分数。最后将MLP输出的两个不同的注意力分数相加并通过Sigmoid函数激活便得到了最终的通道注意力权重。
2.空间注意力模块Spatial attention module 图3 如图3所示空间空间注意力模块由三个操作组成。与通道注意力模块不同的是空间注意力模块首先分别使用全局平均池化和全局最大池化沿通道轴生成两个不同的特征图和。然后将和沿通道拼接在一起并通过一个的卷积去生成通空间注意力图。最后通过Sigmoid函数激活便得到了最终的空间注意力权重。
此外文章中还在ResBlockResNet中集成了CBAM结构如下图4所示。 图4 2.Dual Attention Network for Scene Segmentation
论文地址https://arxiv.org/abs/1809.02983
文章中提出了一种双注意网络(Dual Attention Network, DANet网络结构如下图5所示)来自适应地整合局部特征及其全局依赖关系。具体来说它结合了自注意力机制transformer设计了两个模块Position Attention Module和Channel Attention Module用来捕获空间和通道维度上的特征依赖关系然后将这两个模块的输出进行融合进一步增强特征的表达。下面就来看看这两个模块的结构。 图5 1.Position Attention ModulePAM 图6 PAM的结构如图6所示它通过以下步骤来实现。
1. 输入特征图其中C是通道数H和W分别是高度和宽度。
2. 将A用不同卷积层生成新的特征图B和C其中B和C都。然后将B和C除通道外拉成一条向量变形成。
3. 将C和B的转置进行矩阵乘法再使用softmax操作即得到空间注意力图S。
4.将A用卷积层生成特征图D并将D拉成一条向量变形成。然后再将D与上一步得到的空间注意力图S的转置执行矩阵乘法并将结果重塑成。
5. 最后对上一步得到的结果乘以尺度参数,并与原始输入特征执行元素加法便得到最终的输出特征。输出特征实现了有选择性的聚合上下文信息。
2.Channel Attention ModuleCAM 图7 CAM的结构如图6所示它通过以下步骤来实现。
1. 输入特征图其中C是通道数H和W分别是高度和宽度。
2. 将A变形成与A的转置执行矩阵乘法然后通过softmax操作得到通道注意力图X。
4.将A的转置与上一步得到的通道注意力图X执行矩阵乘法并将结果重塑成。
5. 最后对上一步得到的结果乘以尺度参数,并与原始输入特征执行元素加法便得到最终的输出特征。 混合域注意力机制能够有效地提升模型的性能增强模型对关键信息的捕捉能力从而在图像分类、目标检测、语义分割等计算机视觉任务中取得更好的效果。
最后欢迎关注公众号“AI小家”。
