新手小白怎样运营1688店铺,关键词优化排名用哪些软件比较好,网站开发人员是做什么的,网站建设中网站需求分析报告图像语义分割概述
一、图像语义分割概念
图像语义分割#xff08;Image Semantic Segmentation#xff09;是一项计算机视觉任务#xff0c;其目标是将输入的图像分割成多个区域#xff0c;并为每个像素分配一个语义类别标签#xff0c;以表示该像素属于图像中的哪个物体…图像语义分割概述
一、图像语义分割概念
图像语义分割Image Semantic Segmentation是一项计算机视觉任务其目标是将输入的图像分割成多个区域并为每个像素分配一个语义类别标签以表示该像素属于图像中的哪个物体或区域。与其他图像分割任务不同图像语义分割不仅关注于分割图像还要理解图像中不同部分的语义含义。
二、传统图像分割算法
2.1 基于阈值的分割方法
阈值法对于背景和目标拥有不同灰度的图像比较适用它的基本思想是根据图像的灰度特征计算一个或多个灰度阈值获取图片中所有像素的灰度值与计算得到的阈值进行逐一比较最后根据比较结果将像素划分为适当的类别。
阈值法中常用的方法有固定阈值分割直方图双峰法迭代阈值图像分割自适应阈值图像分割最大类间方差法均值法最佳阈值。
2.2 基于边缘的分割方法
在图像中的两个不同区域中一个区域到另一个区域会发生灰度和颜色的变化即在两个区域的边缘发生突变。基于灰度值的边缘检测比较常用它是一种基于观察的方法不同区域的边缘的灰度值将显示阶跃或屋顶变化。如果通过傅里叶变换将图像从空间域变换到频域则边缘对应于高频部分。 微分算子法是最常见的边缘检测算法它利用一阶导数的极值和二阶导数的零点来确定边缘。要获得更好的分割效果可以让边缘检测算法和与其互补的分割方法一起使用。
2.3 基于区域的分割方法
基于区域的分割方法通过一定准则来确定一个基础区域以此进行分割区域分割方法有两种基本形式分别为区域生长和全局思想。对于区域生长以某个像素为中心扩散合并相似性质的其他像素对于全局思想把整张图片作为一个整体分割成不同的子区域。 常用的区域分割算法有种子区域生长法区域分裂合并法分水岭法。
三、基于卷积神经网络的语义分割算法
3.1 FCN
论文网址https://arxiv.org/abs/1411.4038
全卷积神经网络fully convolutional networks,FCN是语义分割的开端语义分割从此发展速度迅速。网络模型的端到端训练也是由全卷积神经网络实现的。
它的主要贡献在如下三个方面全卷积上采样和跳跃连接。
全卷积。在一般 CNN 分类网络中输入图片的尺寸大小都是依据网络的设计结构决定的是唯一的但是 FCN 的图片的输入尺寸是不同大小的。FCN 舍弃了 CNN 分类网络后面的 3 个全连接层并使用卷积层进行代替不仅保留了图片的位置信息而且还整合了 CNN 的输出特征。
上采样。在图片经过一系列的卷积、池化操作之后得到的特征图尺寸远小于原始图片尺寸为了将特征图中的像素与原始图像的像素对应进行像素预测同时减小分割精度的损失作者使用了反卷积操作。对特征图进行解码时使用反卷积进行操作使得特征图的大小等于原图大小。
跳跃连接。FCN 通过卷积、池化以及反卷积的操作后丢失了很多细节信息通过跳跃连接使得浅层信息和高层语义信息结合起来使得模型的鲁棒性更强。
3.2 U-Net
论文网址https://arxiv.org/abs/1505.04597v1
U-Net最初是为了医学图像分割而设计的分割网络其本身使用的是编码器-解码器结构并且使用了跳跃连接对浅层特征和高级语义进行融合操作。
在编码器部分图片一共经历了 4 次下采样通过卷积层和最大池化层组合每一次下采样特征图的通道数变成原来的 2 倍。在解码器部分每次上采样之后都和与之对应下采样的特征图进行融合之后通道数减半在解码器的最后一层使用 1Χ1 卷积将类别数变成期望的分类数。
3.3 PSPnet
论文网址https://arxiv.org/abs/1612.01105
PSPnet的主要的创新点是提出了金字塔池化模块pyra-mid pooling module它能够聚合目标的不同位置的上下文信息提高捕获全局信息的性能。同时加入了辅助损失函数使得训练网络时的收敛速度提升。 四、应用场景 自动驾驶自动驾驶汽车需要理解道路上的各种物体和障碍物以做出安全驾驶决策。 医学图像处理在医学影像中语义分割可用于分割出特定组织或病变区域以帮助医生诊断和治疗。 遥感图像分析卫星图像和航拍图像的语义分割可用于土地利用分类、环境监测等应用。 图像编辑和合成语义分割可用于图像编辑例如将一个物体从图像中删除或将不同的物体合成到图像中。
