基于双支路GAN和Swin Transformer的PET和MRI图像融合方法技术

本发明专利技术公开了基于双支路GAN和Swin Transformer的PET和MRI图像融合方法，将PET图像进行RGB到YCbCr色彩空间的转换，分别得到PET图像的Y，Cb和Cr三个分量；将PET图像的Y分量和MRI图像在通道维进行联结，然后输入到双支路生成对抗网络中并对网络模型进行训练；利用训练好的网络模型生成融合后的PET图像的Y分量；将融合后的Y分量，原PET图像的Cb和Cr分量进行YCbCr到RGB彩色空间的转换，从而得到最终的融合结果。本方法采用的是一种端到端的网络模型，无需设置复杂的图像融合规则。本方法得到的融合结果对比度更高，整体视觉效果更好。本方法在有效地保留PET图像功能信息(以伪彩色呈现)的同时，能够有效地融合MRI图像的解剖结构信息，从而提升了PET和MRI图像融合的性能。

【技术实现步骤摘要】

本专利技术涉及图像处理，具体为基于双支路gan和swin transformer的pet和mri图像融合方法。

技术介绍

1、现如今，医学图像在临床疾病的诊断和治疗中发挥着举足轻重的作用。随着传感器与成像技术的不断发展，多种多样的医学成像设备随之产生。不同类型的医学成像设备通过不同的成像机理采集人体信息，从而产生各种不同类型(模态)的医学图像。现有的医学图像总体上可以分为两类，即结构型图像与功能型图像。磁共振成像(magneticresonance image,mri)作为一种结构型图像，能够提供人体的软组织信息，呈现为纹理细节和致密结构信息丰富的图像。正电子发射断层(positron emission tomography,pet)图像作为一种功能型图像，能够反映人体新陈代谢等情况，通常以伪彩色的形式呈现。mri图像的空间分辨率高，结构信息丰富，但缺少能够反映人体新陈代谢情况的功能信息；pet图像具有体现人体新陈代谢的功能信息，但其空间分辨率低，结构信息匮乏。

2、因此，在实际的临床应用中，仅使用单一模态的医学图像通常无法较为完整地获得所需的本文档来自技高网...

【技术保护点】

1.基于双支路GAN和Swin Transformer的PET和MRI图像融合方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的基于双支路GAN和Swin Transformer的PET和MRI图像融合方法，其特征在于：步骤S2中需要在融合前完成网络模型的训练，所述网络模型为生成器-判别器网络模型，所述生成器-判别器网络模型的训练过程为：

3.根据权利要求1所述的基于双支路GAN和Swin Transformer的PET和MRI图像融合方法，其特征在于：步骤S2中的网络模型为生成器-判别器网络模型，所述网络模型利用生成器总损失和判别器损失组成损失函数...

【技术特征摘要】

1.基于双支路gan和swin transformer的pet和mri图像融合方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的基于双支路gan和swin transformer的pet和mri图像融合方法，其特征在于：步骤s2中需要在融合前完成网络模型的训练，所述网络模型为生成器-判别器网络模型，所述生成器-判别器网络模型的训练过程为：

3.根据权利要求1所述的基于双支路gan和swin transformer的pet和mri图像融合方法，其特征在于：步骤s2中的网络模型为生成器-判别器网络模型，所述网络模型利用生成器总损失和判别器损失组成损失函数；

4.根据权利要求3所述的基于双支路gan和swin transformer的pet和mri图像融合方法，其特征在于：所述生成器总损失由对抗损失ladv和内容损失lcontent组成，对抗损失ladv将判别器的判断结果反馈给生成...

【专利技术属性】
技术研发人员：张文娟，康家银，马寒雁，姬云翔，武凌霄，
申请(专利权)人：江苏海洋大学，
类型：发明
国别省市：