基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法技术

本发明专利技术属于图像处理的超分辨率技术领域，具体为一种基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，主要包括：构建多个残差通道注意力块为主干的网络；将高分辨率参考图像梯度信息作为参考分支输入，为主干网络提供高频信息；设计跨尺度特征迁移模块，灵活嵌入主干网络中，捕获特征内全局跨尺度自相似性；利用通道、空间注意力将所有特征图融合，自适应调整高分辨率特征。本发明专利技术充分利用了图像自身内部先验信息和跨模态图像的外部先验信息，显著提高超分模型的性能，比其他先进方法取得更好的定量、定性分析。定性分析。定性分析。

【技术实现步骤摘要】
基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法


[0001]本专利技术属于图像处理中的超分辨率
，具体涉及基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法。

技术介绍

[0002]磁共振成像(Magnetic Resonance Imaging，MRI)是多参数无创成像技术，MRI图像质量受信噪比(Signal to Noise Ratio，SNR)、分辨率、扫描时间等因素影响。通常是通过增加扫描层厚来确保一定的SNR要求的同时减少运动伪影，但是会产生低分辨率MRI图像，也会限制分析准确性。
[0003]超分辨率(Super Resolution，SR)是一种可以突破硬件限制提升MRI图像空间分辨率的技术。SR主要分为基于插值的SR方法、基于重构的SR方法、基于学习的SR方法。基于插值的SR方法简单高效，但插值后的MRI图像会有明显的块效应、振铃效应与锯齿效应。基于重构的SR方法提取低分辨率图像中的关键信息，并通过先验知识来约束高分辨率图像的的重建过程。基于学习的SR方法是从大量的训练数据中学习高分辨率图像和低分辨率图像之间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，操作如下：将低分辨率MRI图像输入训练好的基于跨模态和跨尺度特征融合的超分辨率网络模型，得到相应的超分辨率MRI图像；所述基于跨模态和跨尺度特征融合的超分辨率网络模型的构建包括以下步骤：S1:构建基于跨模态和跨尺度特征融合的超分辨率网络模型；所述超分辨率网络模型包括跨模态参考分支网络和主分支网络；所述跨模态参考分支网络包括跨模态参考分支网络参考图像梯度图提取模块和跨模态参考分支网络参考图像特征提取模块；主分支网络包括主分支网络浅层特征提取模块、主分支网络深度特征提取模块、主分支网络上采样和特征融合模块、主分支网络图像重建模块、主分支网络高分辨率图像输出模块；S2:从公开数据集中获取目标模态和参考模态高分辨率MRI图像；其中，公开数据集中以T1W作为目标模态高分辨率MRI图像，以T2W和FLAIR作为参考模态高分辨率参考图像；S3:对目标模态高分辨率MRI图像数据进行模拟退化预处理，得目标模态低分辨率MRI图像数据；S4:将参考模态高分辨率MRI图像输入跨模态参考分支网络参考图像梯度图提取模块，获得参考模态MRI图像的梯度图；结合3D卷积层和激活函数构建特征提取模块；将特征提取模块加入跨模态参考分支网络中作为跨模态参考分支网络特征提取模块；S5:将S4得到的梯度图输入参考分支网络特征提取模块，捕捉参考高分辨率图像的结构化依赖性和空间关系，并输出参考模态MRI图像特征；将特征提取模块加入主分支网络中作为主分支网络浅层特征提取模块；S6:将S3得到的目标模态低分辨率MRI图像数据输入主分支网络浅层特征提取模块中提取目标模态低分辨率MRI图像浅层特征；S7:将S6提取的浅层特征输入主分支网络深度特征提取模块，得到多层次深度特征；其中，将多个残差通道注意力块堆叠作为主干，跨尺度特征迁移模块灵活嵌入残差通道注意力块块之间，组成主分支网络深度特征提取模块；S8:将S5输出的参考模态MRI图像特征、跨尺度特征迁移模块输出的目标尺度特征和S7得到的多层次深度特征输入主分支网络上采样和特征融合模块，自适应调整、融合来自不同分支的特征获得融合特征；S9：将S8获得的融合特征和S3获得的目标模态低分辨率MRI图像输入主分支网络图像重建模块，得到重建的高分辨率图像；S10:设置损失函数，对基于跨模态和跨尺度特征融合的超分辨率网络模型进行迭代训练；S11:重复S4
‑
S10，直至模型收敛，得到训练好的基于跨模态和跨尺度特征融合的超分辨率网络模型。2.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，所述跨模态参考分支网络参考图像梯度图提取模块的输出端与跨模态参考分支
网络参考图像特征提取模块连接，跨模态参考分支网络参考图像特征提取模块输出端分别与跨尺度特征迁移模块和主分支网络上采样和特征融合模块连接；所述主分支网络浅层特征提取模块输出端与主分支网络深度特征提取模块连接，跨模态参考分支网络参考图像特征提取模块输出端、主分支网络深度特征提取模块输出端和跨尺度特征迁移模块输出端与主分支网络上采样和特征融合模块连接，主分支网络上采样和特征融合模块输出端与主分支网络图像重建模块连接，主分支网络图像重建模块输出端与主分支网络高分辨率图像输出模块连接。3.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，步骤S3对目标模态高分辨率MRI图像数据进行模拟退化预处理，得目标模态低分辨率MRI图像数据，具体做法为：采用基于图像空间的模拟退化方式与基于频域的模拟退化方式来模拟目标模态高分辨率MRI图像的退化过程；其中，在基于图像空间的模拟退化中采用高斯模糊和双三次下采样获得低分辨率MRI图像数据；在基于频域的模拟退化方式将目标模态高分辨率MRI图像经过傅里叶变换至频域，根据超分辨率重建系数对频域数据的边缘部分进行截断处理，并用零填充的方式对截断的部分进行填充,随后对填充过的频域数据进行傅里叶逆变换，将其转化至图像空间,对MRI图像进行空间下采样生成最终的低分辨率MRI图像数据。4.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，步骤S4将参考模态高分辨率MRI图像输入跨模态参考分支网络参考图像梯度图提取模块中，获得参考模态MRI图像的梯度图，具体做法为：使用了一个卷积层来实现梯度图提取的操作，其中，梯度的提取操作的表达公式如下：G
H
(I
Ref
)＝I
Ref
(H+1，W，L)
‑
I
Ref
(H
‑
1，W，L)，G
w
(I
Ref
)＝I
Ref
(H，W+1，L)
‑
I
Ref
(H，W
‑
1，L)，G
L
(I
Ref
)＝I
Ref
(H，W，L+1)
‑
I
Ref
(H，W，L
‑
1)，1)，式中，I
Ref
代表参考模态高分辨率MRI图像，H代表高度，W代表宽度，L表长度，G
H
(
·
)、G
W
(
·
)、G
L
(
·
)代表在对应方向上提取梯度的操作；代表获得具有梯度强度和梯度方向的梯度信息的操作，GI(
·
)代表提取仅包含梯度强度信息的梯度图的操作，||
·
||2代表求梯度强度平方和的平方根的操作。5.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，步骤S5中利用3D卷积层和激活函数结合构建特征提取模块的具体做法为：选用渗漏修正线性单元LReLU作为激活函数，其中，ReLU会将负数输入映射为0不同，LReLU会将负数输入乘以一个权重，权重的取值范围为0.001
‑
0.01，使其输出极小的负数，而防止负数全输出0造成的神经元失活的问题。6.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，步骤S6将S3得到的目标模态低分辨率MRI图像数据输入主分支网络浅层特征提取模块中提取目标模态低分辨率MRI图像浅层特征，具体做法为：激活函数选用LReLU，则浅层特征提取过程表示为：
X0＝F
Conv
(I
LR
),式中，X0代表目标模态低分辨率MRI图像浅层特征，I
LR
为目标模态低分辨率MRI图像，F
Conv
(
·
)代表提取目标模态低分辨率MRI图像浅层特征的操作。7.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，步骤S7中，将S6提取的浅层特征输入主分支网络深度特征提取模块，得到多层次深度特征，具体做法为：将M个残差通道注意力块堆叠作为主干，10≤M≤15，跨尺度特征迁移模块灵活嵌入残差通道注意力块之间处理得具有高分辨率细节的主分支网络输出目标尺度特征和相应的低分辨率尺度特征，将M个残差通道注意力块输出特征、跨尺度特征迁移模块输出低分辨率尺度特征融合得到多层次...

【专利技术属性】
技术研发人员：王路路，杨宇杰，方云翔，赵振刚，李英娜，李川，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：