php网站建设流程,平面广告怎么做,学校网站内容,wordpress上传插件TransformerMIA Future Work
主要的挑战和未来发展分为三个部分#xff0c;即
1、特征集成和计算成本降低、
2、数据增强和数据集收集、
3、学习方式和模态-对象分布 1、特征集成和计算成本降低
为了同时捕获局部和全局特征来提高模型性能#xff0c;目前大多数工作只是…TransformerMIA Future Work
主要的挑战和未来发展分为三个部分即
1、特征集成和计算成本降低、
2、数据增强和数据集收集、
3、学习方式和模态-对象分布 1、特征集成和计算成本降低
为了同时捕获局部和全局特征来提高模型性能目前大多数工作只是简单地将CNN和变压器杂交例如将变压器编码器块插入CNN模型中。然而以这种方式将本地特色与全球特色相结合可能还不够坚定。为了使CNN和变压器更紧密地集成可以通过使变压器免受CNN固有的电感偏置的影响来实现双重方法。一方面CNN中的感应偏置可以带回变压器[457-459]。另一方面变压器可以在互学习框架下与CNN同时学习[460]。由于输入尺寸的二次计算复杂度计算成本高一直是变压器不可避免的问题特别是在图像分辨率高的情况下。然而很少有作品提到或试图解决这个问题。为了提高变压器的训练效率可以考虑更多的注意力计算方法如移位窗口注意[49]、高效注意[461]、多头线性自注意[462]等。此外变压器中的投影参数可以在不同的层次上共享。通过计算模型的FLOPs和参数个数可以定量评价模型的复杂度并进行进一步的比较。
2、数据扩充和数据集收集
在MIA领域中数据不足往往会影响模型的性能。数据增强技术是解决这一问题的一个重要研究方向。然而据我们所见许多与变压器相关的作品并没有深入研究。大多数工作只使用传统的数据增强技术如轮作、作物和翻转。到目前为止很少有研究利用先进的数据增强方法如基于gan的方法来合成图像。尽管如此由于基本GAN合成的图像的质量和分辨率难以保证所实现的基本GAN也不能被认为是先进的。在使用低质量甚至重复(例如模型崩溃)合成图像进行训练的情况下模型性能的有效性值得怀疑。例如一个分类模型可以在一个数据集上显示出非常高的准确率但是数据集中可能存在数千个重复的合成图像这些图像被正确分类。为了更好地增强数据应该考虑最先进的图像合成模型。例如适合小型数据集的GAN如StyleGAN2-ADA[463]独立的空间和外观变换模型[59]以及扩散概率模型如3D-DDPM[60]。我们观察到的另一个问题是许多入选的论文只将模型性能与几个经典模型进行比较而没有包括其他作者为MIA设计的模型。这对于非主流模式和对象来说尤其常见。造成这种情况的主要原因之一是缺乏广泛接受的基准标记数据集如ImageNet[464]。因此新的高质量医疗数据集的收集和出版可以使这一研究领域受益匪浅。构建这样的数据集也有利于MIA领域迁移学习技术的发展。根据我们的观察虽然迁移学习在MIA领域得到了广泛的应用但大多数都是从ImageNet迁移过来的。由于自然图像和医学图像具有不同的数据贡献因此从医学数据集进行迁移可以进一步提高模型的性能。 3、学习方式和模态-对象分布
有几种最先进的学习方式如弱监督学习和无监督学习可以减少对数据标记的需求。然而这些方法并没有广泛应用于基于变压器的MIA工程中。在模态-物分布方面现有的大部分作品主要集中在几种主流模态上如图8所示。然而在这些主流模式和对象之外还有许多未开发的研究潜力。在方式方面目前的研究主要集中在MRI, CT, x射线和显微镜成像。尽管美国是一种重要的医学影像模式但尚未得到充分的调查。在对象方面目前的工作主要集中在大脑、胸部、腹部和心脏而视网膜等其他对象有待进一步研究。 参考
Recent progress in transformer-based medical image analysis
