【技术实现步骤摘要】
本专利技术涉及图像处理，具体为基于双支路gan和swin transformer的pet和mri图像融合方法。
技术介绍
1、现如今，医学图像在临床疾病的诊断和治疗中发挥着举足轻重的作用。随着传感器与成像技术的不断发展，多种多样的医学成像设备随之产生。不同类型的医学成像设备通过不同的成像机理采集人体信息，从而产生各种不同类型(模态)的医学图像。现有的医学图像总体上可以分为两类，即结构型图像与功能型图像。磁共振成像(magneticresonance image,mri)作为一种结构型图像，能够提供人体的软组织信息，呈现为纹理细节和致密结构信息丰富的图像。正电子发射断层(positron emission tomography,pet)图像作为一种功能型图像，能够反映人体新陈代谢等情况，通常以伪彩色的形式呈现。mri图像的空间分辨率高，结构信息丰富，但缺少能够反映人体新陈代谢情况的功能信息；pet图像具有体现人体新陈代谢的功能信息，但其空间分辨率低，结构信息匮乏。
2、因此，在实际的临床应用中，仅使用单一模态的医学图像通常无法较为完整地获得所需的人体信息，这就要求在临床应用中同时使用多种模态的医学图像。然而，同时获取不同模态的医学图像势必会耗费更多的人力、财力和时间等。为此，通过采用一定的技术手段将pet与mri图像进行融合，从而使得一幅融合图像能够同时体现pet与mri图像中的人体结构与功能信息，以便能够更好地在临床应用中提供客观的人体参考信息，进而有助于临床医生做出更加精准的诊断；
3、针对pet与mr
4、目前，用于医学图像融合的深度学习方法主要包括基于卷积神经网络(convolutional neural network,cnn)的方法，基于生成对抗网络(generativeadversarial network,gan)的方法，以及基于transformer的方法等。基于cnn的方法相较于传统方法提高了局部信息的提取能力和泛化能力，但该类方法提取图像全局特征的能力欠佳，致使图像融合结果中整体结构信息受损等。此外，基于cnn的融合方法是一种监督的融合方法，然而，实际的图像融合任务并不存在真实值(ground truth)，因此作为监督的cnn方法在图像融合任务中受到限制。相对地，基于gan的方法是一种端到端的通过对生成器和判别器两个网络进行对抗训练来获得融合图像的非监督算法，其中生成器旨在生成具有pet图像组织信息并附加mri图像结构信息的图像，而判别器旨在迫使生成的图像具有更多的mri结构细节信息，从而使得融合得到图像既具有pet图像显著的功能信息(以伪彩色呈现)又包含mri图像丰富的结构信息。简言之，基于gan的融合方法是通过生成器与判别器之间的对抗博弈来进行无监督的训练，从而不断地提升融合图像的效果。
5、相较于基于cnn的融合方法，基于gan的方法取得了更好的融合效果。然而，现有的基于gan的融合方法中，其网络主干仍然为聚焦于局部特征提取的cnn网络。不同于仅聚焦于提取局部特征的cnn，基于transformer的方法借助多头自注意机制来捕获长距离依赖关系，从而能够提取图像中的全局特征信息，一定程度上克服了cnn只能提取局部特征的局限性，使得融合结果具有更好的全局视觉效果，从而改善了图像融合的性能。
6、transformer模型由vaswani等提出，该模型在自然语言处理(natural languageprocessing,nlp)领域得到了成功应用。dosovitskiy等提出了用于图像分类任务的视觉transformer(vision transformer,vit)，该模型将图像分成16×16的图像块并输入到标准的transformer编码器中，然后利用多头自注意力机制对全局特征进行建模，取得了很好的效果。vit的提出，促进了transformer在计算机视觉领域的广泛应用。然而，由于图像的维数较高和不同尺度的问题，致使将transformer从自然语言处理领域应用到图像领域存在着一些挑战。为此，liu等提出了一种在不重合的窗口区域内做多头自注意力计算的swintransformer，并通过移动窗口的操作达到提取全局特征的目的。与标准的transformer相比，swin transformer的计算复杂度与图像的尺寸大小呈线性关系，具有较高的计算效率。vs等将transformer引入图像融合领域，提出了一种基于transformer的两阶段图像融合策略，即在第一阶段训练一个自编码器以提取源图像中的多尺度深度特征，在第二阶段采用空间transformer融合网络融合特征信息。现有的基于transformer的图像融合方法取得了优异的融合效果，但依然有进一步提升的空间，特别是将无监督、端到端的gan模型和捕获全局特征的transformer进行有效结合，从而取得更好的融合效果。
7、综上可知：目前分别基于gan和transformer的pet和mri图像融合存在以下问题，一方面gan网络的主干为聚焦于提取局部特征的cnn，从而不利于提取图像的全局特征信息；而另一方面，标准的transformer网络计算复杂度高等，本专利技术针对pet图像和mri图像各自的特性，为了在模型中将transformer较好的全局信息提取能力和cnn较强的局部信息提取能力进行有效结合，以达到更好的融合效果，为此提供基于双支路gan和swintransformer的pet和mri图像融合方法。
技术实现思路
1、本专利技术的目的是针对现有技术的缺陷，提供基于双支路gan和swin transformer的pet和mri图像融合方法，以解决上述
技术介绍
提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：基于双支路gan和swin transformer的pet和mri图像融合方法，具体步骤如下：
3、s1：ycbcr色彩空间转换，得到pet图像的y分量；
4、将pet图像ip进行rgb彩色空间到ycbcr彩色空间的变换，分别得到ip的y，cb，cr三个通道的分量图像ip-y，ip-cb和ip-cr，其中y分量图像包含能够反映pet图像整体结构与亮度变化的亮度信息；pet图像由rgb彩色空间至ycbcr彩色空间的具体变换过程如下式(本文档来自技高网...
【技术保护点】
1.基于双支路GAN和Swin Transformer的PET和MRI图像融合方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于双支路GAN和Swin Transformer的PET和MRI图像融合方法，其特征在于：步骤S2中需要在融合前完成网络模型的训练，所述网络模型为生成器-判别器网络模型，所述生成器-判别器网络模型的训练过程为：
3.根据权利要求1所述的基于双支路GAN和Swin Transformer的PET和MRI图像融合方法，其特征在于：步骤S2中的网络模型为生成器-判别器网络模型，所述网络模型利用生成器总损失和判别器损失组成损失函数；
4.根据权利要求3所述的基于双支路GAN和Swin Transformer的PET和MRI图像融合方法，其特征在于：所述生成器总损失由对抗损失Ladv和内容损失Lcontent组成，对抗损失Ladv将判别器的判断结果反馈给生成器，用于引导生成器生成更接近真实数据分布的融合图像IF-Y，对抗损失Ladv的定义如式(5)：
5.根据权利要求1所述的基于双支路GAN和Swin
6.根据权利要求5所述的基于双支路GAN和Swin Transformer的PET和MRI图像融合方法，其特征在于：所述生成器的CNN支路：
7.根据权利要求5所述的基于双支路GAN和Swin Transformer的PET和MRI图像融合方法，其特征在于：所述生成器的Transformer支路由两个Conv Block和三个TransformerBlock组成；
8.根据权利要求5所述的基于双支路GAN和Swin Transformer的PET和MRI图像融合方法，其特征在于：所述图像重构部分：
...【技术特征摘要】
1.基于双支路gan和swin transformer的pet和mri图像融合方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于双支路gan和swin transformer的pet和mri图像融合方法，其特征在于：步骤s2中需要在融合前完成网络模型的训练，所述网络模型为生成器-判别器网络模型，所述生成器-判别器网络模型的训练过程为：
3.根据权利要求1所述的基于双支路gan和swin transformer的pet和mri图像融合方法，其特征在于：步骤s2中的网络模型为生成器-判别器网络模型，所述网络模型利用生成器总损失和判别器损失组成损失函数；
4.根据权利要求3所述的基于双支路gan和swin transformer的pet和mri图像融合方法，其特征在于：所述生成器总损失由对抗损失ladv和内容损失lcontent组成，对抗损失ladv将判别器的判断结果反馈给生成...
【专利技术属性】
技术研发人员：张文娟，康家银，马寒雁，姬云翔，武凌霄，
申请(专利权)人：江苏海洋大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。