企业网站信息管理系统,重庆网站建设外包公司哪家好,旅游网站建设开发,太原seo代理文章目录 Deep learning methods for medical image fusion: A review摘要引言非端到端的融合方法基于深度学习的决策映射基于深度学习的特征提取 端到端图像融合方法基于卷积神经网络(CNN)的图像融合方法单级特征融合方法多级特征融合基于残差神经网络的图像融合方法基于密集神… 文章目录 Deep learning methods for medical image fusion: A review摘要引言非端到端的融合方法基于深度学习的决策映射基于深度学习的特征提取 端到端图像融合方法基于卷积神经网络(CNN)的图像融合方法单级特征融合方法多级特征融合基于残差神经网络的图像融合方法基于密集神经网络(DenseNet)的图像融合方法基于生成对抗网络的图像融合方法基于编码器-解码器网络的图像融合方法 Deep learning methods for medical image fusion: A review
摘要
基于深度学习的图像融合方法是近年来计算机视觉领域的研究热点。 本文从五个方面对这些方法进行了综述: 首先阐述了基于深度学习的图像融合方法的原理和优点; 其次从端到端和非端到端两方面对图像融合方法进行了总结根据深度学习在特征处理阶段的不同任务将非端到端图像融合方法分为决策映射深度学习和特征提取深度学习两大类。 根据网络类型的不同将端到端图像融合方法分为三类: 基于卷积神经网络的图像融合方法、基于生成对抗网络的图像融合方法和基于编码器-解码器网络的图像融合方法; 第三从方法和数据集两个方面总结了基于深度学习的图像融合方法在医学图像领域的应用; 第四从14个方面对医学图像融合领域常用的评价指标进行了梳理; 第五从数据集和融合方法两个方面讨论了医学图像融合面临的主要挑战。 并对未来的发展方向进行了展望。本文系统总结了基于深度学习的图像融合方法对多模态医学图像的深入研究具有积极的指导意义。
引言
图像融合算法可分为两类:变换域算法和空间域算法。 基于变换域的算法通常基于多尺度变换(MST)理论如拉普拉斯金字塔变换(LP)、小波变换(WT)、曲线波变换(CVT)和非下采样Contourlet变换(NSCT)。这些方法的步骤如下:首先将源图像分解为系数然后通过融合规则对系数进行融合最后通过变换逆重构融合后的图像。除了MST方法外近年来还提出了一些基于特征空间的方法如独立分量分析(ICA)和稀疏表示(SR)。然而这些方法都存在一些缺点:融合规则由开发者设计融合图像需要配准图像重建也会导致图像质量下降。 基于空间域的算法不需要将源图像转换为另一个特征域它具有很好的应用前景可分为基于块的、基于区域的和基于像素的融合算法。基于分块的算法通常将图像分割成块测量其空间频率求和并修改拉普拉斯然后融合图像块在这些算法中图像块的大小对结果影响很大难以分割;基于区域的算法根据一定的准则将输入图像分解成区域然后测量相应区域的显著性最后将最显著的区域组合成融合图像。但是图像分割的准确性对算法的效率有很大的影响。基于像素的算法直接通过活动水平度量策略生成融合决策图并提出了一些基于像素的空间域方法如多尺度加权梯度融合(MWGF)、带引导滤波的图像融合(GFF)和密集SIFT这些方法在融合过程中基于单个像素忽略了信息的相似性。
近年来深度学习的发展推动了图像融合的进步深度学习强大的特征提取和数据表达能力使得图像融合的发展非常有前景。深度学习方法从大量数据中学习具有良好泛化能力的融合模型可以使融合过程更具鲁棒性克服人工特征选择耗时、成本高、容易出现人为错误等缺点显示出强大的发展潜力。
基于深度学习的图像融合分为三个阶段:特征处理阶段、特征融合阶段和特征重构阶段。 具体过程如下:首先通过深度学习网络获取特征信息或决策图;然后它们通过融合策略进行融合。最后通过特征处理反变换得到融合图像。由于深度学习网络在特征提取和信息表达方面的强大能力可以显著提高融合图像的质量。 本文将基于深度学习的融合方法分为两类:非端到端图像融合方法和端到端图像融合方法。
非端到端的融合方法
非端到端图像融合方法是指深度学习网络在融合阶段之前的特征处理阶段的应用。其过程如下:首先通过深度学习网络对源图像进行处理得到特征信息或决策图;然后根据融合规则对特征进行融合;最后对融合后的特征进行重构得到最终的融合图像。 有效的特征处理方法是高质量融合方法的前提图像表示理论的发展对图像融合的进展有很大的影响促进了融合规则的进一步完善。本节将从两个方面进行介绍:基于深度学习的决策映射和基于深度学习的特征提取。
基于深度学习的决策映射
首先将源图像分成块将这些块作为网络的输入并构造分类任务来判断每个块的类别;其次通过对特征图进行线性卷积、非线性激活和空间池化对不同阶段的特征图进行合并输出包含源图像特征信息的决策图;第三对决策图进行处理;最后利用融合规则对决策映射进行融合得到最终的融合图像。 第一类是基于CNN的决策映射。Wang等人将分解后的高频子带输入到CNN中生成决策图并将CNN作为频率子带的融合规则该规则不仅具有自适应性而且取代了需要人工设计的传统规则然后分别对低频子带和高频子带的决策图进行融合最后对融合系数进行逆变换得到最终的融合图像。 第二类是基于ResNet的决策映射。为了解决边界模糊水平估计困难的问题提出将源图像输入到卷积块和残差块组成的CNN中提取浅特征和深特征得到其对应的加权映射对其进行点积和加权和运算得到融合图像。该方法可以利用源图像中存在的互补信息 第三类是基于DenseNet的决策映射。Gai等人将源图像块输入到DenseNet中得到评分图然后通过二值化得到决策图最后利用融合规则得到融合图像。在特征处理阶段DenseNet可以充分利用图像的特征信息有效地解决融合图像决策图的分类问题 第四类是基于U-Net的决策映射为了提高U-Net的全局特征编码能力引入全局特征金字塔提取模块(GFPE)和全局注意力连接上采样模块(GACU)有效地提取和利用全局语义和边缘信息通过特征图中像素间的上下文关系估计最终的决策图最后采用逐像素加权平均策略获得融合图像 第五类是基于GAN的决策映射。Guo等人提出了一种基于cGAN的图像融合方法称为融合GAN。该方法将图像融合任务视为从源图像到决策图的转换问题并利用最小二乘GAN目标提高融合GAN的训练稳定性得到准确的置信图用于焦点区域检测
基于深度学习的特征提取 深度学习中特征提取的过程是:首先将源图像输入深度学习网络进行特征提取然后将各输出层的特征信息通过融合规则进行融合最后通过重构过程得到融合后的图像。网络的输入是源图像输出是特征信息。这些过程如图3所示。深度学习方法具有比传统方法更强的特征提取能力被广泛应用于图像融合领域。 第一类是基于CNN提取源图像的低级和高级特征得到候选融合图像利用最大值策略从候选融合图像生成最终融合图像完成融合图像的重建。 第二类是基于ResNet的特征提取。使用ResNet50作为特征提取模块从源图像中提取深度特征然后将深度特征归一化得到初始权值图最后采用加权平均策略重构融合后的图像。 第三类是基于DenseNet的提取。Zhang等人使用DenseNet通过密集连接提取特征并重用特征以更少的参数和计算成本取得了比CNN更好的性能最后通过平均融合策略重建融合后的图像。用更少的网络层保留了更多的融合图像细节 第四节课是基于注意机制的特征抽取。提出了多尺度剩余金字塔注意网络(MSRPAN)与剩余注意机制相比MSRPAN增加了多尺度信息与金字塔注意机制相比MSRPAN增强了特征提取能力具有更好的特征提取和表达能力
端到端图像融合方法
在非端到端图像融合方法中有时特征提取阶段的最优特征并不是最终的最佳结果
端到端图像融合是指网络的输入是源图像输出是融合后的图像。整个学习过程不划分子过程深度学习模型学习从源图像到融合图像的映射。端到端图像融合方法包括基于CNN的图像融合方法、基于GAN的图像融合方法和基于编码器-解码器网络的图像融合方法。对端到端图像融合方法进行了综述。
基于卷积神经网络(CNN)的图像融合方法
通过设计网络结构和损失函数实现隐式特征提取、特征融合和图像重建避免了人工设计融合规则的局限性。基于CNN的图像融合方法的过程是:首先将源图像输入CNN进行处理然后对处理后的特征进行融合最后对融合后的图像进行反卷积重构。在这个过程中不需要中间结果的输出CNN学习了从输入到输出的直接映射。与传统的图像融合算法相比CNN可以通过学习卷积滤波器的适当参数来适应图像融合任务并且可以通过端到端训练来优化CNN模型的参数。本节从单级特征融合方法、多级特征融合方法、基于ResNet的图像融合方法和基于DenseNet的图像融合方法四个方面对基于CNN的图像融合方法进行了总结这些过程如图4所示
单级特征融合方法
首先通过多个卷积块提取源图像的特征然后对最后一个卷积层输出的特征进行融合最后通过多个反卷积块对特征进行重构得到最终的融合图像。
UFA-FUSE利用卷积块从源图像中提取图像特征然后通过注意机制进行特征融合最后将融合后的图像特征输入级联卷积块中重建融合后的图像该方法通过后处理细化决策图避免中间决策图的生成实现图像融合
为了提高图像融合的质量在基于多尺度MobileNet的融合(Multi-scale MobileNet based fusion, MMF)中通过多尺度移动块(Multi-scale Mobile Block, MMB)提取输入图像的高维特征结合高维特征生成融合图像
多级特征融合
首先通过卷积块提取源图像的特征然后将每一卷积层提取的对应层的特征进行融合将每一层的融合特征进行融合生成最终的融合图像。多层次特征融合可以使图像特征得到更充分的利用。
在HPCFNet中首先将配对图像输入到Siamese CNN中然后通过配对通道融合(paired Channel Fusion, PCF)模块对卷积层的特征映射进行层次化集成生成逐通道融合特征映射再通过反向空间注意(Reverse Spatial Attention, RSA)模块对融合特征映射进行调整。PCF首先通过交叉特征堆栈(Cross feature Stack, CFS)组合同一级别的特征映射然后通过并行群卷积(Parallel Atrous Group Convolution, PAGC)模块融合通道对获取多尺度特征表示
基于残差神经网络的图像融合方法
在基于CNN的融合方法中浅层特征随着网络层数的增加而松散降低了融合效果。基于ResNet的融合方法可以更好地利用提取的特征信息融合后的图像可以保留更多的源图像细节。这些方法可以分为两类:用于图像融合的全局残差连接和用于图像融合的残差块。 第三类是多尺度残差块。接收野较小的卷积层可以提取低频特征但不能提取高频特征而接收野较大的卷积层可以提取更重要的图像特征。Song等人设计了多尺度扩展残差块(MDRB)通过两个并行卷积核提取多尺度特征并将特征输入到两个不同扩展率的卷积核中扩大接收场计算成本较低
残差注意块是通过在残差块上添加一个注意机制来实现的残差块根据源特征映射的重要性给出其权重残差连接使注意机制能够全局学习每个通道的权重大大增强了注意块的通用性。Mustafa等人引入残差自注意块来融合和细化特征残差自注意块的输出是原始局部特征和注意图的加权和其中还包含自注意信息和全局上下文信息
基于密集神经网络(DenseNet)的图像融合方法 基于DenseNet的图像融合方法是指在CNN中加入密集连接或者用密集块代替卷积块。这些过程如图7所示。DenseNet能够利用浅层的低复杂度信息获得更平滑的决策函数因此具有更好的泛化性能[42]。与残块相比致密块具有更强的致密连接机制。通过密集连接可以充分利用每一层的特征保证融合后的图像包含更多源图像的多尺度、多层次特征缓解梯度消失的问题。
基于生成对抗网络的图像融合方法
自2014年GAN[46]被提出以来由于其灵活性和优异的性能在成像领域得到了广泛的应用。基于GAN的图像融合过程可以看作是源图像与融合图像之间的对抗博弈更具体地说基于GAN的图像融合方法使用鉴别器迫使生成器生成在概率分布上与目标分布一致的融合结果从而隐含地实现了特征提取、融合和图像重建。这使得融合图像能够同时获得两个源图像的特征信息。这些过程如图8所示。基于GAN的图像融合方法可分为三类:基于经典GAN的图像融合方法、基于双鉴别器GAN的图像融合方法和基于多GAN的图像融合方法。
基于编码器-解码器网络的图像融合方法 基于单编码器-解码器网络的图像融合方法是指包含一个编码器的融合网络其过程为:将拼接后的图像输入到编码器中提取特征;然后对编码特征进行融合;最后对融合特征进行解码得到最终的融合图像。
DenseFuse是一个典型的编码器-解码器图像融合网络其中编码器由卷积块和密集块组成密集块可以更好地保留编码器的深度特征从而保证融合规则可以使用更重要的特征融合层的输出是解码器的输入解码器由四个卷积层完成
基于双编码器-解码器网络的图像融合方法源图像在单编码器-解码器融合网络的输入端进行拼接但不同模态的图像具有不同的细节信息需要以不同的方式提取特征因此提出了双编码器-解码器融合网络。每个编码器的目的都是提取图像的视觉特征其优点是保证两幅模态图像的不同信息能够得到充分利用。
由于在图像融合任务中往往需要融合两幅以上的图像现有的方法大多以两幅图像的融合为目标为了在融合多模态医学图像的同时保留各种图像类型的更详细信息提出了多编码器-解码器融合网络通过信息共享获得更好的融合结果。
