网址站点出现异常怎么办,网站备案新增域名,互联网营销行业,网站优化分析软件前言 在这节课#xff0c;我们将学习语义分割和实例分割。在语义分割中#xff0c;我们需要重点掌握语义分割的概念、常用数据集、评价指标#xff08;IoU#xff09;以及经典的语义分割方法#xff08;Deeplab系列#xff09;#xff1b;在实例分割中#xff0c;需要知…前言 在这节课我们将学习语义分割和实例分割。在语义分割中我们需要重点掌握语义分割的概念、常用数据集、评价指标IoU以及经典的语义分割方法Deeplab系列在实例分割中需要知道实力分割可以近似看为“目标检测语义分割”需要知道Mask R-CNN方法的计算流程以及评价指标mAP。 一、语义分割
1.1 分割类任务的定义
分割类任务是一种密集标注任务即将图像中每个像素赋予一个语义或者实例标签。 1.2 语义分割的应用场景 无人驾驶机器人医学图像…… 1.3 常用数据集
1.3.1 Pascal VOC Dataset
VOC数据集是计算机视觉主流数据集之一由牛津大学、比利时鲁汶大学等高校的视觉研究组联合发布可以用作分类分割目标检测动作检测和人物定位五类任务包含21个类别标签训练1464验证1449测试1456。 1.3.2 MS COCO Dataset MS COCOMicrosoft Common Objects in Context Dataset是微软发布的一个大规模物体检测分割及文字定位数据集支持目标检测、实例分割、全景分割、Stuff Segmentation、关键点检测、看图说话等任务类型包含80个对象类别。 1.3.3 ADE20K Dataset
ADE20K数据集由 MIT CSAIL 研究组发布涵盖广泛的场景和对象类别可用于场景感知、解析、分割、多物体识别和语义理解。该数据集构建了一个场景解析基准包含150个对象和素材类。 1.3.4 CityScapes Dataset
CityScapes是由奔驰自动驾驶实验室、马克思·普朗克研究所、达姆施塔特工业大学联合发布的图像数据集专注于对城市街景的语义理解。 该数据集包含50个城市不同场景、不同背景、不同街景以及30类涵盖地面、建筑、交通标志、自然、天空、人和车辆等的物体标注共有5000张精细标注的图像和2万张粗略标注的图像。 1.4 评价指标重点
平均交并比 (mean Intersection over Union, mIoU) ——每个类别的所有像素去计算交并比 1.5 语义分割方法
1.5.1 基于滑动窗的提取图像块后分类
基于滑动窗提取图像块然后对图像块的中心进行分类 1.5.2 用CNN计算整幅图的特征
用CNN计算整幅图的特征然后在其上进行标签预测 1.5.3 全卷积网络
【方案一】
设计只含有卷积层而没有降采样操作的神经网络这样可以同时对所有像素进行标签预测 【方案二】
设计包含卷积层、下采样操作和上采样操作的神经网络。 下采样操作可以通过池化和加大卷积步长来实现 上采样操作可以通过插值、逆池化和转置卷积来实现 【插值】 【逆池化】 【转置卷积】 【上采样结构总结】 【U-Net】 1.5.4 DeepLab系列
【Deeplab V1】 【Deeplab V2】 【Deeplab V3】 【Deeplab V3】 1.5.5 PSPNet 1.5.6 HRNet 二、实例分割
2.1 实例分割的概念
实例分割 可以近似看为 目标检测 语义分割 2.2 Mask R-CNN 2.3 评价指标重点 2.4 实例分割效果 总结 在本文中我们学习了语义分割和实例分割需要清楚二者的区别并掌握二者的算法流程需要重点关注语义分割和实例分割的方法举例和评价指标。
