【技术实现步骤摘要】
基于梯度增强注意力的多模态MR影像超分辨率方法
[0001]本专利技术涉及计算机视觉领域以及医疗影像领域，具体涉及一种基于梯度增强注意力的多模态MR影像超分辨率方法。
技术介绍
[0002]核磁共振(MR)成像技术是一种常用的且十分重要的疾病监测技术，通过核磁共振医学影像可以反映人体器官的侧面、冠状、矢状以及任何方向截断面的影像，并具有丰富的纹理信息。因此MR影像被广泛地用于临床诊断、手术模拟以及生物组织物理特性的评估，特别是疾病的早期诊断。作为软组织病灶评估的首选方法，MR影像可以提供多种不同的对比度，通过同一处病理的不同对比度影像，提供更加丰富的诊断信息。如T1加权影像对于灰质和白质的描述很有效，而T2加权影像对于流体和脂肪的描述则更有用，其中T1与T2是MR成像过程中的两种弛豫时间，表示两种不同模态的MR影像。
[0003]近年来，随着深度学习的不断发展，MR成像技术在医学影像分析领域越发重要。对MR影像进行分类、分割等任务的神经网络深度学习模型需要大量的样本作为训练集。而MR影像不同于人脸、服装等影像，它涉及...
【技术保护点】
【技术特征摘要】
1.一种基于梯度增强注意力的多模态MR影像超分辨率方法，用于根据以加权方式A成像的高分辨率的辅助模态影像和以加权方式B成像的低分辨率的源模态影像得到以加权方式B成像的超分辨率的目标影像，其特征在于，包括以下步骤：步骤S1，对所述辅助模态影像和所述源模态影像分别进行预处理，得到预处理辅助模态影像和预处理源模态影像；步骤S2，构建包括生成器和判别器的生成对抗网络，并将现有的多张多模态的MR影像作为训练数据，再通过所述训练数据对所述生成对抗网络进行训练，将训练好的所述生成器作为多模态MR影像超分辨率模型；步骤S3，将所述预处理辅助模态影像和所述预处理源模态影像输入所述多模态MR影像超分辨率模型，得到所述目标影像，其中，所述多模态MR影像超分辨率模型包括Transformer模块和UNet模块，所述Transformer模块包括多模态图像融合Transformer子模块、第一Transformer子模块、第二Transformer子模块和第三Transformer子模块，所述多模态图像融合Transformer子模块用于根据由Sobel边缘算子从所述预处理辅助模态影像中提取的边缘特征图E、所述预处理辅助模态影像和所述预处理源模态影像进行注意力计算，得到第一特征图，所述第一Transformer子模块用于对所述边缘特征图E和所述第一特征图进行处理，得到第二特征图，所述第二Transformer子模块用于对所述边缘特征图E和所述第二特征图进行处理，得到第三特征图，所述第三Transformer子模块用于对所述边缘特征图E和所述第一特征图进行处理，得到第四特征图，所述UNet模块包括编码器子模块、融合子模块和解码器子模块，所述编码器子模块用于对所述第四特征图和所述预处理源模态影像分别进行卷积和下采样，得到对应的模态特征图，所述融合子模块用于根据交叉注意力机制，对所述第四特征图对应的模态特征图和所述预处理源模态影像对应的模态特征图进行计算，得到计算结果，所述解码子模块用于结合跨越连接对所述计算结果进行上采样和卷积，得到所述目标影像。2.根据权利要求1所述的基于梯度增强注意力的多模态MR影像超分辨率方法，其特征在于：其中，在所述步骤S2中，所述训练数据包括以加权方式A成像的高分辨率的高分辨图像A和对应的以加权方式B成像的低分辨率的低分辨图像B，所述步骤S2包括以下子步骤：步骤S2
‑
1，构建所述生成器和所述判别器作为所述生成对抗网络；步骤S2
‑
2，对所有所述训练数据进行预处理，再将预处理后的所述训练数据划分为训练集和验证集；步骤S2
‑
3，通过所述训练集对所述生成对抗网络进行训练，得到训练后生成对抗网络；步骤S2
‑
4，通过所述验证集调整所述训练后生成对抗网络的参数，直至所述训练后生
成对抗网络的性能不再提升，则得到训练好的所述生成器和所述判别器；步骤S2
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。