深圳网站设计制作公司 维仆,wordpress多个域名,东莞建设通网站,互联网舆情分析文章目录 一、基本概念二、研究现状2.1 传统算法2.2 深度学习方法 三、数据集及评价指标3.1 常用数据集3.2 常用指标 四、经典模型参考资料 一、基本概念
语义分割是计算机视觉中很重要的一个方向。不同于目标检测和识别#xff0c;语义分割实现了图像像素级的分类。它能够将… 文章目录 一、基本概念二、研究现状2.1 传统算法2.2 深度学习方法 三、数据集及评价指标3.1 常用数据集3.2 常用指标 四、经典模型参考资料 一、基本概念
语义分割是计算机视觉中很重要的一个方向。不同于目标检测和识别语义分割实现了图像像素级的分类。它能够将一张图片或者视频视频以帧来提取的话其实就是图片按照类别的异同将图像分为多个块。 如下图所示 二、研究现状
2.1 传统算法 灰度分割 最简单的语义分段形式涉及分配区域必须满足的硬编码规则或属性以便为其分配特定标签。规则可以根据像素的属性例如灰度级强度来构建。使用此技术的一种方法是拆分Split和合并Merge算法。该算法递归地将图像分割成子区域直到可以分配标签然后通过合并它们将相邻的子区域与相同的标签组合。 这种方法的问题是规则必须硬编码。此外仅用灰色级别的信息来表示复杂的类(如人)是极其困难的。因此需要特征提取和优化技术来正确地学习这些复杂类所需的表示。 条件随机场 考虑通过训练模型为每个像素分配类来分割图像。如果我们的模型不完美我们可能会得到自然界不可能得到的噪声分割结果(如图中所示狗像素与猫像素混合)。 可以通过考虑像素之间的先验关系来避免这些问题例如对象是连续的因此附近的像素往往具有相同的标签。为了模拟这些关系我们使用条件随机场CRF。 CRF是一种用于结构化预测的统计建模方法。与离散分类器不同CRF可以在进行预测之前考虑“相邻上下文”比如像素之间的关系。这使得它成为语义分割的理想候选。 图像中的每个像素都与一组有限的可能状态相关联。在我们的示例中目标标签是可能的状态集。将一个状态(或标签u)分配给单个像素(x)的成本称为它的一元成本unary cost。为了对像素之间的关系建模我们还考虑了将一对标签(u,v)分配给一对像素(x,y)的成本即成对成本pairwise cost。我们可以考虑它的近邻像素对(Grid CRF)或者我们可以考虑图像中的所有像素对(Dense CRF)
2.2 深度学习方法
与此同时随着深度学习技术的不断发展深度学习在语义分割任务中大放异彩取得了骄人的成绩。从第一篇真正意义上的深度学习方法语义分割模型FCN说起语义分割发展了不足六年的时间经典的SegNetDeeplab系列DenseASPP等等再到近些年来研究热点的NAS方法。不断的刷新各个分割数据集的Leaberboard。
三、数据集及评价指标
3.1 常用数据集
语义分割有一些常用的数据集这些数据集在各种论文中常作为算法优劣性的一个验证其中SUNRGBD是四维的它还有利用深度学习相机得到了一个Deep维度Depth类似于灰度图像只是它的每个像素值是传感器距离物体的实际距离
3.2 常用指标
像素准确率PA正确分类的像素数量与所有像素数量的比值。 像素准确率平均值MPAPA的变体每个类内正确分类的像素数量和该类的所有像素点数 Ground truth的比值之后求所有类的平均。 平均交并比MIoU检验语义分割效果最重要的指标。计算两个集合的交并比两个集合分别是真实值Ground truth和预测值predicted segmentation是一个交集与并集的比值。平均交并比为对各类的交并比进行平均。
四、经典模型 FCN网络CVPR 2015图像分割领域的开山之作 将端到端的卷积网络推广到语义分割中; 重新将预训练好的Imagenet网络用于分割问题中; 使用反卷积层进行上采样; 提出了跳跃连接来改善上采样的粗糙程度。 论文讲解博客 UNet网络 SegNet网络 空洞卷积Dilated Convolution DeeplabV1 V2 RefineNet PSPNet 大内核Large Kernel Matters Deeplab v3 EncNet DenseASPP ResNet_DUC Deeplab v3 DFANet DANet Auto_Deeplab APCNet CANet …… BiSeNetECCV 2018 STDCCVPR 2021BiSeNet的轻量化。 一些轻量化语义分割算法如DFANet、BiSeNetV1采用了轻量化backbone来减少计算量但它们都是直接使用为分类任务设计的backbone无法充分发挥在语义分割领域中的性能。 BiSeNet使用了multi-path结构融合低层次特征和高层次特征但增加分支会增加网络的运行时间。 STDC对BiSeNet中的multi-path结构进行了改进可以在提取底层细节特征的同时减少网络计算量。
参考资料
语义分割-概念、问题和指标史上最全语义分割综述FCN,UNet,SegNetDeeplabASPP…
