陕西汽车网站建设,WordPress考勤模板,网站建设中服务器的搭建方式有几种,wordpress 删除 后台菜单欢迎访问个人网络日志#x1f339;#x1f339;知行空间#x1f339;#x1f339; 文章目录1.基础介绍2.分类网络转换成全卷积分割网络3.转置卷积进行上采样4.特征融合5.一个pytorch源码实现参考资料1.基础介绍 论文:Fully Convolutional Networks for Semantic Segmentati…
欢迎访问个人网络日志知行空间 文章目录1.基础介绍2.分类网络转换成全卷积分割网络3.转置卷积进行上采样4.特征融合5.一个pytorch源码实现参考资料1.基础介绍 论文:Fully Convolutional Networks for Semantic Segmentation Fully Convolutional Networks, FCN是2014年11月UC Berkeley的Jonathan Long等提交的论文中提出的。论文的主要工作是设计了用于语义分割的全卷积网络结构能够实现端到端的训练输出逐像素的稠密预测结果。因为使用了全卷积结构可以不用限制输入的大小。全卷积网络借用了分类网络的预训练权重在下采样特征提取部分可以使用分类网络模型的权重。
FCN网络中作者的主要工作有三部分
1)将分类网络转换成用于分割任务的全卷积网络2)使用转置卷积进行上采样得到分割输出不再同以往的方法使用shift-stitch方法3)将低层的空间信息和高层的语义信息相融合fuse what and where information
2.分类网络转换成全卷积分割网络
分类任务中网络模型中多使用了全连接层因此要求固定的网络输入如alexnet/vgg/googlenet等作者认为全连接和卷积操作是类似的都是加权求和只不过全连接层应当被看成感受野是整个特征图的卷积层。将全连接层换成卷积层可以给模型任意大小的输入输出相应大小的分割图。 如上图移除特征提取后的全连接层前的flatten操作将全连接换成卷积层在这里可以得到10x10的带空间位置信息的预测热力图。
通过对此添加上采样层并对网络使用带空间信息的损失函数可以得到用于语义分割的全连接网络模型 如上图就是一个可以端到端训练的全卷积语义分割模型。
3.转置卷积进行上采样
使用分类网络进行特征提取的过程中使用了池化层对特征图进行了下采样这会导致细节信息的丢失导致得到的分割结果比较粗糙。在以往的分割算法中对于这种情况使用的是shift-stitch方法。
假设降采样因子为s那么output map这里为了简单起见仅考虑二维的spatial size则是input的 1/s向左或向上向右向下情况一样平移input map偏移量为(x,y) 其中x,y∈{0,1,..,s−1}x,y\in\{0,1,..,s-1\}x,y∈{0,1,..,s−1}。这样就得到 s2s^2s2个 inputs通过网络前向传播自然得到 s2s^2s2 个outputs将outputs 交织成与origin input 大小相同的output map就实现了pixel级别的dense prediction。
设网络只有一层 2x2 的maxpooling 层且 stride 2所以下采样因子 为2, 我们需要对input image 的 pixels 平移 (x,y)个单位即将 image 向左平移 x 个pixels , 再向上平移y个单位整幅图像表现向左上方向平移空出来的右下角就以0 padding 。我们当然可以采取 FCN论文中的做法将图像向右下角平移空出来的左上角用 0 padding ,这两种做法产生的结果是一致的没有本质区别。(x,y) 取0,0), (0,1),(1,0),(1,1) 后就产生了 s24s^24s24个input不妨记为 shifted input (0,0)、shifted input (0,1)shifted input (1,0)shifted input (1,1)图中的数字表示像素值不是索引值 。 4个input分别进行 2x2 的maxpooling操作后共产生了4个output [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OVbCsXXV-1678278382307)(/images/Segmentation/2FCN/3.jpeg)]
最后stitch the 4 different output获得dense prediction 以上就是shift-and-stitch的过程引用自1 以上可以看到对于一个图像需要输入预测s2s^2s2次比较耗时。
在FCN中作者使用转置卷积作为上采样层通过可学习的参数对特征图进行插值上采样能够得到更好的结果。 关于转置卷积的详细介绍可以参考3.转置卷积
4.特征融合
作者在论文中还提到的是combine what and where具体是指在分类网络的特征提取下采样过程中随着网络变深卷积感受野变大因此高层卷积的特征图中包含更多的语义信息(更有全局视野空间信息丰富know where)而低层卷积的特征图包含更多的细节信息(know what)为了改善语义分割的结果自然的想法就是将低层和高层特征图信息相融合。 在这里FCN-32s直接将pooling5层的输出进行32倍上采样得到的分割结果FCN-16s是将pooling4的结果和pool5的结果2x上采样后element-wise求和得到的同样的方式可以得到FCN-8s。作者在实验部分也指出了融合what and where特征后输出的分割结果更好如下图所示。 在这里特征融合使用的方式是size相同的特征图元素间相加求和如此将低层卷积的结果传递给高层特征图这种方式和ResNet的恒等映射思想有些相似,不过ResNet是2015年12月提交的论文。除了element-wise求和外还有不少论文使用的是concatenation on channel像2015年05月份的U-Net2021年04月份的STDCNet等。
5.一个pytorch源码实现 参考自3 class FCN16s(nn.Module):def __init__(self, pretrained_net, n_class):super().__init__()self.n_class n_classself.pretrained_net pretrained_netself.relu nn.ReLU(inplaceTrue)self.deconv1 nn.ConvTranspose2d(512, 512, kernel_size3, stride2, padding1, dilation1, output_padding1)self.bn1 nn.BatchNorm2d(512)self.deconv2 nn.ConvTranspose2d(512, 256, kernel_size3, stride2, padding1, dilation1, output_padding1)self.bn2 nn.BatchNorm2d(256)self.deconv3 nn.ConvTranspose2d(256, 128, kernel_size3, stride2, padding1, dilation1, output_padding1)self.bn3 nn.BatchNorm2d(128)self.deconv4 nn.ConvTranspose2d(128, 64, kernel_size3, stride2, padding1, dilation1, output_padding1)self.bn4 nn.BatchNorm2d(64)self.deconv5 nn.ConvTranspose2d(64, 32, kernel_size3, stride2, padding1, dilation1, output_padding1)self.bn5 nn.BatchNorm2d(32)self.classifier nn.Conv2d(32, n_class, kernel_size1)def forward(self, x):output self.pretrained_net(x)x5 output[x5] x4 output[x4] score self.relu(self.deconv1(x5)) score self.bn1(score x4) score self.bn2(self.relu(self.deconv2(score))) score self.bn3(self.relu(self.deconv3(score))) score self.bn4(self.relu(self.deconv4(score))) score self.bn5(self.relu(self.deconv5(score))) score self.classifier(score) return score 欢迎访问个人网络日志知行空间 参考资料 1.https://zhuanlan.zhihu.com/p/560353772.https://medium.com/image-processing-and-ml-note/fcn-fully-convolutional-network-semantic-segmentation-b81fdcc3c8453.https://github.com/bat67/pytorch-FCN-easiest-demo/blob/master/FCN.py
