一种图像超分辨率网络模型和重建方法技术

本发明专利技术公开了一种图像超分辨率网络模型和重建方法，所述方法包括以下步骤：获取对原始高分辨率图像进行下采样后得到的低分辨率图像，并对所述低分辨率图像进行特征提取以得到初始特征图；利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像；基于所述原始高分辨率图像和所述超分辨率图像构建L1损失函数；利用所述L1损失函数对MCRAN网络进行训练，以得到训练后的MCRAN网络模型；将待优化的低分辨率图像输入至训练后的MCRAN网络模型中，得到相应的超分辨率图像。本发明专利技术使用MCRAN网络提升了超分辨率网络性能，提高了图像超分辨率的视觉质量。辨率的视觉质量。辨率的视觉质量。

【技术实现步骤摘要】
一种图像超分辨率网络模型和重建方法


[0001]本专利技术涉及图像超分辨率
，特别是涉及图像超分辨率重建方法。

技术介绍

[0002]图像是重要的信息载体，图像分辨率质量对于图像内容的信息提取和目译判读具有非常重要的影响。因此，超分辨率图像蕴含的像素密度更高，高频纹理细节更丰富，提供的有效信息更多。在5G时代的背景下，智能设备逐渐普及到生活的每个角落，针对各种场景的成像设备也层出不穷。在实际应用场景中，由于硬件水平及造价成本等限制，以及设备成像过程受到光学模糊、运动模糊、压缩噪声和机械振动等诸多因素的影响，导致最终的成像质量一般，图像分辨率较低。
[0003]随着SRCNN网络的提出，基于深度学习的超分辨率重建方法取得了突破性进展，特别是与传统的算法相比，重建性能得到了很大的提升。目前超分辨率算法随着网络的加深，非线性表达能力也越强，但在网络传播过程中可能带来浅层特征信息的丢失，因此亟需一种能够改善浅层特征信息丢失的方法。

技术实现思路

[0004]本专利技术提供一种图像超分辨率网络模型和重建方法，通过将图像超分辨率网络模型改为MCRAN网络，改善了超分辨率网络应用过程中浅层特征信息丢失的问题，提高了图像超分辨率的视觉质量。
[0005]为实现上述效果，本专利技术的技术方案如下：
[0006]一种图像超分辨率网络模型，图像超分辨率网络模型为MCRAN网络，MCRAN网络包括依次连接的浅层特征提取模块、深层特征提取模块、上采样模块；
[0007]浅层特征提取模块由依次连接的卷积层Conv_1、第一Leaky ReLU非线性激活函数组成；深层特征提取模块由8个依次连接的MRAB模块、卷积层Conv_2、第二Leaky ReLU非线性激活函数组成；上采样模块由依次连接的卷积层Conv_3、第三Leaky ReLU非线性激活函数、卷积层Conv_4、亚像素卷积模块组成。
[0008]需要说明的是，浅层特征提取模块、深层特征提取模块、上采样模块均设有Leaky ReLU非线性激活函数以增加超分辨率网络的非线性能力。深层特征提取模块一共使用8个MRAB模块进行串联，旨在更好地提取图像特征信息。
[0009]本专利技术MCRAN网络是对SRResNet网络的改进，在原始SRResNet网络中的残差结构中包含批归一化层(BN)，为加快学习收敛速度，存在梯度消失的问题。但对于超分辨率重建任务来说，批归一化层在传统的重构方法EDSR中被证明效果不佳；批归一化层在训练时，使用一个小批次训练数据的均值和方差对该批次特征进行归一化，但在测试阶段批归一化层使用整个测试集上数据的均值和方差进行预测，当测试集与训练集的数据量有较大差异时，在梯度计算时可能会引入噪声，从而生成伪影，弱化了单张图像本身特有的一些细节信息，并且限制模型的泛化能力。所以本专利技术在设计MCRAN网络时移除了批归一化层，以更有
利于超分辨率网络的训练。
[0010]进一步的，所述卷积层Conv_1、卷积层Conv_2、卷积层Conv_3、卷积层Conv_4的卷积核均为3x3。
[0011]进一步的，所述MRAB模块包括输入端X
n
‑1、卷积层Conv1_1、卷积层Conv1_2、卷积层Conv1_3、第一融合层、卷积层Conv2_1、卷积层Conv2_2、第二融合层、卷积层Conv3_1、通道注意力模块，输出端X
n
；
[0012]其中，输入端X
n
‑1分别和卷积层Conv1_1、卷积层Conv1_2、卷积层Conv1_3、第一融合层的输入端连接；输入端X
n
‑1、卷积层Conv1_2、输出端卷积层Conv1_3的输出端分别和第一融合层的输入端连接，第一融合层的输出端分别和卷积层Conv2_1、卷积层Conv2_2的输入端连接，输入端X
n
‑1、卷积层Conv2_1的输出端、卷积层Conv2_2的输出端、卷积层Conv1_1的输出端分别和第二融合层的输入端连接，第二融合层的输出端依次连接卷积层Conv3_1、通道注意力模块后得到输出端X
n
；
[0013]卷积层Conv1_2、卷积层Conv1_3、卷积层Conv2_1、卷积层Conv2_2、卷积层Conv3_1均设有Leaky ReLU非线性激活函数。
[0014]一种图像超分辨率重建方法，包括以下步骤：
[0015]S1：获取对原始高分辨率图像进行下采样后得到的低分辨率图像，并对所述低分辨率图像进行特征提取以得到初始特征图；
[0016]S2：利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像；
[0017]S3：基于所述原始高分辨率图像和所述超分辨率图像构建L1损失函数；
[0018]S4：利用所述L1损失函数对MCRAN网络进行训练，以得到训练后的MCRAN网络模型；
[0019]S5：将待优化的低分辨率图像输入至训练后的MCRAN网络模型中，得到相应的超分辨率图像。
[0020]需要说明的是，初始特征图的分辨率在整个MCRAN网络提取过程中与原始高分辨率图像保持一致，原始高分辨率图像作为MCRAN网络的输入图像。
[0021]进一步的，步骤S1中下采样为双三次插值下采样。
[0022]进一步的，步骤S2具体为：
[0023]步骤S2.1：低分辨率图像经过超分辨率网络模型的浅层特征提取模块提取低分辨率图像的低频特征信息，输出64维特征图；浅层特征提取模块的输入输出维度均为64维；
[0024]步骤S2.2：64维特征图经过深层特征提取模块进行多尺度特征提取，提取高频特征信息；深层特征提取模块中MRAB模块的输入输出维度均为64维；
[0025]步骤S2.3：将所有深层特征提取模块提取后的高频特征信息与浅层特征提取模块提取的低频特征信息进行特征融合，得到特征融合图；
[0026]步骤S2.4：特征融合图经过上采样模块进行上采样，得到超分辨率图像。
[0027]需要说明的是，浅层特征提取模块用于提取低分辨率图像中的底层特征信息，采用3
×
3标准卷积核，并在其后设置Leaky ReLU非线性激活函数增加MCRAN网络的非线性能力；MRAB模块用于特征提取，上采样模块用于将特征图像信息重建为超分辨率图像。
[0028]进一步的，步骤S2.4具体为：上采样采用亚像素卷积，将特征融合图经过特征提取后输出上采样特征图像，上采样特征图像经亚像素排列后生成r2维度的超分辨率图像，r代表网络重建倍数，通道数即为超分辨率图像尺寸的平方。
[0029]需要说明的是，上采样特征图像与输入的初始特征图尺寸相同；上采样采用亚像素卷积，利用了特征融合图本身的信息，没有破坏高频特征信息与低频特征信息之间的关联性与空间特征，并通过自适应的方式学习亚像素信息的生成与排列。
[0030]如果特征融合图进行2倍上采样，那么只需控制亚像素卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像超分辨率网络模型，其特征在于，图像超分辨率网络模型为MCRAN网络，MCRAN网络包括依次连接的浅层特征提取模块、深层特征提取模块、上采样模块；浅层特征提取模块由依次连接的卷积层Conv_1、第一Leaky ReLU非线性激活函数组成；深层特征提取模块由8个依次连接的MRAB模块、卷积层Conv_2、第二Leaky ReLU非线性激活函数组成；上采样模块由依次连接的卷积层Conv_3、第三Leaky ReLU非线性激活函数、卷积层Conv_4、亚像素卷积模块组成。2.根据权利要求1所述一种图像超分辨率网络模型，其特征在于，所述卷积层Conv_1、卷积层Conv_2、卷积层Conv_3、卷积层Conv_4的卷积核均为3x3。3.根据权利要求2所述一种图像超分辨率网络模型，其特征在于，所述MRAB模块包括输入端X
n
‑1、卷积层Conv1_1、卷积层Conv1_2、卷积层Conv1_3、第一融合层、卷积层Conv2_1、卷积层Conv2_2、第二融合层、卷积层Conv3_1、通道注意力模块，输出端X
n
；其中，输入端X
n
‑1分别和卷积层Conv1_1、卷积层Conv1_2、卷积层Conv1_3、第一融合层的输入端连接；输入端X
n
‑1、卷积层Conv1_2、输出端卷积层Conv1_3的输出端分别和第一融合层的输入端连接，第一融合层的输出端分别和卷积层Conv2_1、卷积层Conv2_2的输入端连接，输入端X
n
‑1、卷积层Conv2_1的输出端、卷积层Conv2_2的输出端、卷积层Conv1_1的输出端分别和第二融合层的输入端连接，第二融合层的输出端依次连接卷积层Conv3_1、通道注意力模块后得到输出端X
n
；卷积层Conv1_2、卷积层Conv1_3、卷积层Conv2_1、卷积层Conv2_2、卷积层Conv3_1均设有Leaky ReLU非线性激活函数。4.一种根据权利要求1～3任一图像超分辨率网络模型的图像超分辨率重建方法，其特征在于，包括以下步骤：S1：获取对原始高分辨率图像进行下采样后得到的低分辨率图像，并对所述低分辨率图像进行特征提取以得到初始特征图；S2：利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像；S3：基于所述原始高分辨率图像和所...

【专利技术属性】
技术研发人员：邱超烨，徐焕宇，李富，
申请(专利权)人：无锡学院，
类型：发明
国别省市：