一种基于双重对比学习和梯度通道注意力机制的医学图像融合方法技术

本发明专利技术公开了一种基于双重对比学习和梯度通道注意力机制的医学图像融合方法，属于图像融合领域，包括：将非对齐的训练集输入主干网络提取不同模态的共享特征；将z<subgt;1</subgt;、z<subgt;2</subgt;分别输入MPCRM模块输出粗配准图像f<subgt;1</subgt;；将f<subgt;1</subgt;输入MPFRM模块，经过内部变形场和空间变换以校正局部视差，最后通过反向变形场获取精配准图像f<subgt;2</subgt;；将f<subgt;2</subgt;与参考图像I<subgt;y</subgt;分别通过MPEEM模块以双重对比学习到具有较高视觉质量和信息量的特征，分别输出特征z<subgt;3</subgt;，z<subgt;4</subgt;；最后以z<subgt;3</subgt;，z<subgt;4</subgt;为基准在MPFM模块中基于梯度通道注意力机制得到融合图像f<subgt;3</subgt;；本发明专利技术的图像融合方法能够保留输入图像细节的同时实现图像细节的增强和纹理的融合,输出质量更高的图像。

【技术实现步骤摘要】

本专利技术涉及一种基于双重对比学习和梯度通道注意力机制的医学图像融合方法，属于图像融合领域。

技术介绍

1、医学图像融合是一项涉及多模态医学图像(比如ct扫描、mri、pet等)的整合与处理的技术，旨在综合利用不同模态图像的信息，提高图像质量和信息量，为医学诊断和治疗提供更全面、准确的信息。这项技术的背景源于医学影像学领域的发展和需求。不同的医学影像模态提供了关于人体结构和功能不同方面的信息。例如，mri提供了详细的软组织结构信息，而ct扫描则更适合观察骨骼结构。单一模态图像可能存在局限性，无法全面反映病变或疾病的全貌，因此图像融合技术应运而生。

2、就实际应用而言，多模态的医学图像融合，融合后的图像应该包含更多的场景内容，不同模态图像携带了互补的信息，通过融合可以增强图像的信息量，提高对疾病或病变的诊断准确性，融合后的图像有助于医生更好地理解患者情况，提供更全面的信息来做出更精确的诊断并制定治疗方案。在手术规划中，综合不同模态图像可以帮助医生更好地定位病变、规划手术路径。

3、从以上实际应用来看，多模态医学图像的融合不仅要保留图像本文档来自技高网...

【技术保护点】

1.一种基于双重对比学习和梯度通道注意力机制的医学图像融合方法，其特征在于，所述方法具体包括以下步骤：

2.根据权利要求1所述的基于双重对比学习和梯度通道注意力机制的医学图像融合方法，其特征在于，Ix和Iy的大小表示为H×W×C，其中H和W分别是高度和宽度；对于MRI图像C＝1，对于PET图像C＝3。

3.根据权利要求1所述的基于双重对比学习和梯度通道注意力机制的医学图像融合方法，其特征在于，步骤S4的具体步骤如下：

4.根据权利要求1所述的基于双重对比学习和梯度通道注意力机制的医学图像融合方法，其特征在于，步骤S4中所述的仿射变换网络由Layeri(...

【技术特征摘要】

1.一种基于双重对比学习和梯度通道注意力机制的医学图像融合方法，其特征在于，所述方法具体包括以下步骤：

2.根据权利要求1所述的基于双重对比学习和梯度通道注意力机制的医学图像融合方法，其特征在于，ix和iy的大小表示为h×w×c，其中h和w分别是高度和宽度；对于mri图像c＝1，对于pet图像c＝3。

3.根据权利要求1所述的基于双重对比学习和梯度通道注意力机制的医学图像融合方法，其特征在于，步骤s4的具体步骤如下：

4.根据权利要求1所述的基于双重对比学习和梯度通道注意力机制的医学图像融合方法，其特征在于，步骤s4中所述的仿射变换网络由layeri(i＝1、2...6)六层组成，在layeri(i＝1、2、3)层中通过卷积层conv，激活函数lrelu进行特征学习并保证图像尺寸不变，通过应用卷积层deforconv水平和垂直偏移的学习来增强传统的规则感受野得到更高的配准精度和更强的鲁棒性；然后经过最大池化层max pooling将图像尺寸进行压缩，在layer4层通过卷积层conv，激活函数lrelu进行特征学习，经过layer5层将先前得到的特征图映射到具有全局平均池化层gap的128维向量中；然后经过layer6层的全连接层fc得到6维参数，并将其整形为大小为2×3的仿射参数作为输出仿射参数。

5.根据权利要求1所述的基于双重对比学习和梯度通道注意力机制的医学图像融合方法，其特...

【专利技术属性】
技术研发人员：朱虎，杜海洋，邓丽珍，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：