响应网站怎么做,信息发布平台推广有哪些,网站系统架构设计,长沙百度文化传播有限公司期刊#xff1a;Neural Networks | Journal | ScienceDirect.com by Elsevier
年份#xff1a;2023
代码#xff1a;https://github.com/Lature-Yang/BASeg
摘要
语义分割是自动驾驶领域街道理解任务的重要组成部分。现有的各种方法要么专注于通过聚合全局或多尺度上下文…期刊Neural Networks | Journal | ScienceDirect.com by Elsevier
年份2023
代码https://github.com/Lature-Yang/BASeg
摘要
语义分割是自动驾驶领域街道理解任务的重要组成部分。现有的各种方法要么专注于通过聚合全局或多尺度上下文信息来构建对象内部的一致性要么简单地将语义特征与边界特征相结合来细化对象细节。尽管令人印象深刻但大多数都忽略了内部对象和边界之间的长程依赖关系。本文提出一种边界感知网络(BASeg)用于语义分割利用边界信息作为指导上下文聚合的重要线索。具体而言在BASeg中提出了边界细化模块(Boundary Refined Module, BRM)通过骨架中的高层多尺度语义特征来细化Canny检测器粗粒度的底层边界特征;在此基础上进一步提出了上下文聚合模块(Context Aggregation Module, CAM)以捕获边界区域与目标内部像素之间的长程依赖关系实现相互增益并增强类内一致性。此外所提出方法可以插入到其他CNN主干中以较小的计算预算获得更高的性能并在数据集ADE20K、Cityscapes和CamVid上分别获得了45.72%、81.2%和77.3%的mIoU。与一些最新的基于resnet101的分割方法相比大量的实验证明了该方法的有效性。
Introduction
主要贡献
针对语义分割问题提出了由边界特征、语义特征和聚合特征组成的语义分割框架BASeg该框架采用基于注意力的机制来引导边界特征的上下文聚合。将边界细化模块(BRM)集成到BASeg中从Canny检测器获得的粗轮廓中生成显著的细化边界信息。在Cityscapes和CamVid等公共驾驶场景数据集和ADE20K等语义数据集上进行了广泛的实验证明了所提出模型的优越性能。
Method 网络架构
BASeg网络由边界流、语义流和聚合流组成利用边界上下文信息来分割对象。边界流用于预测给定图像的二值边界语义流用于生成语义特征图聚合流用于捕获语义特征图和边界特征图之间的长距离依赖。网络架构包括使用ResNet101作为主干网络ASPPAtrous Spatial Pyramid Pooling模块用于提取空间信息以及引入全局平均池化分支以提供图像级信息。
主要组件
AGB注意门块过滤噪声并增强更高层级特征的细节ASPPAtrous空间金字塔池融合多尺度特征CAM上下文聚合模块用于捕获边界区域与对象内部像素之间的长距离依赖关系实现相互增益并增强类内一致性。BRM边界细化模块用于通过高级多尺度语义特征来细化Canny检测器粗略检测到的低级边界特征。Canny边缘检测器
2.1 Boundary Refine ModuleBRM
提升从Canny边缘检测器获得的粗略边界特征并将其与深层的语义特征结合起来以便于网络能够更准确地识别和细化对象的边界。 AGB中特征信号X来自Canny检测的轮廓特征和门控信号G来自语义特征图的高级特征被结合起来以增强边界区域的特征。
2.2 Context Aggregation Module CAM
负责捕获边界区域与对象内部像素之间的长距离依赖关系以增强语义分割的性能。 计算过程
特征转换CAM通过三个1×1卷积层将语义特征F和边界特征B转换为三个新的特征图Q (Query), K (Key), V (Value)。这有助于减少参数数量和计算成本。亲和力矩阵计算通过计算Key和Query之间的亲和力矩阵S来衡量不同像素间的相互影响。亲和力矩阵S是通过Key和Query的矩阵乘法以及Softmax函数得到的。注意力机制亲和力矩阵S反映了像素间的相关性通过Softmax函数进行归一化处理以突出显示重要像素对其他像素的影响。特征适应对亲和力矩阵S应用另一个1×1卷积层进行特征适应以进一步优化特征表示。上下文聚合利用亲和力矩阵和Value特征图V通过元素级求和操作聚合输入的语义特征图和上下文注意力图生成聚合后的特征图F。 2.3 Loss function
用来衡量模型预测与真实标签之间的差异并指导网络训练过程中的参数更新。BASeg采用了一个多任务损失函数它联合了三个独立的损失来优化网络的不同部分
1. body loss计算了网络对每个像素预测的类别概率与真实标签之间的差异。 2. bound loss衡量了预测的边界与真实边界标签之间的差异有助于细化边界区域的分割。 3. 辅助损失像素级交叉熵损失用于对选定的中间层特征进行辅助监督以帮助网络学习更泛化的特征表示。中间层 F4 施加辅助监督来训练模型、
4. 联合损失
