一种医学影像超分辨率重建方法及系统技术方案

本发明专利技术提出了一种医学影像超分辨率重建方法及系统，涉及计算机视觉技术领域，获取待重建的低分辨率医学图像；通过训练后的超分辨率重建模型处理所述低分辨率图像，以生成并输出最终的高分辨率医学图像；超分辨率重建模型包括浅层特征提取模块、深层特征提取模块和重建模块，所述深层特征提取模块中，并行的卷积模块和局部窗口自注意力模块通过权值共享模块，进行信道权值和空间权值的动态计算和共享，基于动态计算的权值，生成空间特征图和信道特征图，通道拼接后得到深层特征图；本发明专利技术相比基于Transformer和CNN的模型，更好地恢复黑色背景和中心区域的重要信息，恢复出医学影像更多的细节信息，提高医学影像超分辨率重建精度。精度。精度。

【技术实现步骤摘要】
一种医学影像超分辨率重建方法及系统


[0001]本专利技术属于计算机视觉
，尤其涉及一种医学影像超分辨率重建方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]在医学成像技术进步的推动下，磁共振成像(MRI)在常规临床诊断评估中发挥着越来越重要的作用，而高分辨率(HR)磁共振成像可以提供更为丰富的细节，更有利于诊断。然而，由于时间限制、所需的信噪比和身体运动等原因，用成像设备很难捕捉到高质量的高分辨率MRI图像；近年来，图像超分辨率(SR)已被应用于从低分辨率(LR)的图像中重新构建高分辨率(HR)的图像；因此，作为一种提高MRI图像质量的可行方案，受到了广泛的关注。
[0004]图像超分辨率方法通过学习LR图像和HR图像之间的映射来重建HR图像，很多传统的插值方法已经被提出来用于图像超分辨率，如双三次插值、Lanczos
‑
σ，然而，这些方法的性能并不令人满意；随着深度学习技术的蓬勃发展，深度神经网络，特别是卷积神经网络(CNN)和Transformer，已经主导了图像超分辨率的任务；很多方法已经被提出来用于处理MRI图像。MRI图像通常包含大面积的背景区域，这些区域的信息比中心区域少得多。
[0005]大多数基于CNN的方法有两个缺点：首先，CNN很难捕捉到长距离的依赖关系，使得很难充分利用大区域的相似性，导致建模信息的效率降低；其次，以前大多数基于CNN的方法对图像的所有空间像素都一视同仁，阻碍了其表示能力。基于Transformer的方法在图像超分辨率SR中的表现非常惊人，这取决于捕捉全局信息的强大能力，Liang等人提出的基于SwinTransformer的SwinIR在SR中取得了良好的效果，然而，单独利用Transformer会大大增加计算时间，这在MRI中是无法承受的。

技术实现思路

[0006]为克服上述现有技术的不足，本专利技术提供了一种医学影像超分辨率重建方法及系统，相比基于Transformer和CNN的现有模型，更好地恢复黑色背景和中心区域的重要信息，恢复出医学影像更多的细节信息，提高医学影像超分辨率重建精度。
[0007]为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
[0008]本专利技术第一方面提供了一种医学影像超分辨率重建方法；
[0009]一种医学影像超分辨率重建方法，包括：
[0010]获取待重建的低分辨率医学图像；
[0011]通过训练后的超分辨率重建模型处理所述低分辨率图像，以生成并输出最终的高分辨率医学图像；
[0012]其中，所述超分辨率重建模型包括浅层特征提取模块、深层特征提取模块和重建模块，所述深层特征提取模块中，并行的卷积模块和局部窗口自注意力模块通过权值共享
模块，进行信道权值和空间权值的动态计算和共享，基于动态计算的权值，生成空间特征图和信道特征图，通道拼接后得到深层特征图。
[0013]进一步的，所述浅层特征提取模块，使用3
×
3的卷积层从低分辨率医学图像中提取浅层特征图。
[0014]进一步的，所述深层特征提取模块的处理过程，具体为：输入的浅层特征图经过依次连接的多个共享残差SwinTransformer模块和一个3
×
3的卷积层，得到深层特征图。
[0015]进一步的，所述共享残差SwinTransformer模块的处理过程，具体为：输入的特征图经过依次连接的多个共享SwinTransformer模块，得到共享特征图，共享特征图与输入的特征图进行残差连接，得到共享残差特征图。
[0016]进一步的，所述共享SwinTransformer模块，由通道拆分操作、局部窗口自注意力模块、卷积核大小为3
×
3的卷积模块、权值共享模块、通道拼接操作和前馈神经网络组成，处理过程具体为：
[0017]通过通道拆分操作将输入的特征图拆分为两个特征子图，分别输入到局部窗口自注意力模块和卷积模块中；
[0018]所述局部窗口自注意力模块和卷积模块，基于权值共享模块共享的动态权值，生成空间特征图和信道特征图；
[0019]空间特征图、信道特征图和输入的特征图通过通道拼接操作进行拼接；
[0020]拼接后的特征图输入到前馈神经网络中，得到共享特征图。
[0021]进一步的，所述空间特征图和信道特征图的具体生成过程为：
[0022](1)卷积模块从拆分后的特征子图X1中提取卷积特征图和初始信道特征图X
′
C
；
[0023](2)基于卷积特征信道权重共享子模块计算信道权重W
C
，并共享给局部窗口自注意力模块；
[0024](3)基于信道权重W
C
，局部窗口自注意力模块从拆分后的特征子图X2中提取空间特征图X
A
；
[0025](4)基于空间特征图X
A
，空间权重共享子模块计算空间权重W
A
，并共享给卷积模块；
[0026](5)基于空间权重W
A
，卷积模块对初始信道特征图X
′
C
进行空间加权，得到信道特征图X
C
。
[0027]进一步的，所述重建模块，利用由亚像素卷积层和3
×
3的卷积组成的上采样层，对深层特征图M
D
和浅层特征图M
S
相加后的特征图进行上采样，将信息流重整为指定上采样倍率的特征图，得到高分辨率图像I
SR
。
[0028]本专利技术第二方面提供了一种医学影像超分辨率重建系统。
[0029]一种医学影像超分辨率重建系统，包括获取模块和生成模块：
[0030]获取模块，被配置为：获取待重建的低分辨率医学图像；
[0031]生成模块，被配置为：通过训练后的超分辨率重建模型处理所述低分辨率图像，以生成并输出最终的高分辨率医学图像；
[0032]其中，所述超分辨率重建模型包括浅层特征提取模块、深层特征提取模块和重建模块，所述深层特征提取模块中，并行的卷积模块和局部窗口自注意力模块通过权值共享模块，进行信道权值和空间权值的动态计算和共享，基于动态计算的权值，生成空间特征图
和信道特征图，通道拼接后得到深层特征图。
[0033]本专利技术第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本专利技术第一方面所述的一种医学影像超分辨率重建方法中的步骤。
[0034]本专利技术第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本专利技术第一方面所述的一种医学影像超分辨率重建方法中的步骤。
[0035]以上一个或多个技术方案存在以下有益效果：
[0036]本专利技术采用卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种医学影像超分辨率重建方法，其特征在于，包括：获取待重建的低分辨率医学图像；通过训练后的超分辨率重建模型处理所述低分辨率图像，以生成并输出最终的高分辨率医学图像；其中，所述超分辨率重建模型包括浅层特征提取模块、深层特征提取模块和重建模块，所述深层特征提取模块中，并行的卷积模块和局部窗口自注意力模块通过权值共享模块，进行信道权值和空间权值的动态计算和共享，基于动态计算的权值，生成空间特征图和信道特征图，通道拼接后得到深层特征图。2.如权利要求1所述的一种医学影像超分辨率重建方法，其特征在于，所述浅层特征提取模块，使用3
×
3的卷积层从低分辨率医学图像中提取浅层特征图。3.如权利要求1所述的一种医学影像超分辨率重建方法，其特征在于，所述深层特征提取模块的处理过程，具体为：输入的浅层特征图经过依次连接的多个共享残差SwinTransformer模块和一个3
×
3的卷积层，得到深层特征图。4.如权利要求1所述的一种医学影像超分辨率重建方法，其特征在于，所述共享残差SwinTransformer模块的处理过程，具体为：输入的特征图经过依次连接的多个共享SwinTransformer模块，得到共享特征图，共享特征图与输入的特征图进行残差连接，得到共享残差特征图。5.如权利要求4所述的一种医学影像超分辨率重建方法，其特征在于，所述共享SwinTransformer模块，由通道拆分操作、局部窗口自注意力模块、卷积核大小为3
×
3的卷积模块、权值共享模块、通道拼接操作和前馈神经网络组成，处理过程具体为：通过通道拆分操作将输入的特征图拆分为两个特征子图，分别输入到局部窗口自注意力模块和卷积模块中；所述局部窗口自注意力模块和卷积模块，基于权值共享模块共享的动态权值，生成空间特征图和信道特征图；空间特征图、信道特征图和输入的特征图通过通道拼接操作进行拼接；拼接后的特征图输入到前馈神经网络中，得到共享特征图。6.如权利要求1所述的一种医学影像超分辨率重建方法，其特征在于，所述空间特征图和信道特征图的具体生成过程为：(1)卷积模块从拆分后的特征子图X1中提取卷积特征图和初始信道特征图X
′<...

【专利技术属性】
技术研发人员：张瑜，马涵骁，刘丽霞，张友梅，李彬，张明亮，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：