本发明专利技术公开了一种基于残差生成网络的图像超分辨率重建方法，包括：构建超分辨率重建网络模型，模型包括生成网络和判别网络，生成网络包括预处理层、核心残差网络以及上采样层，核心残差网络包括32个依次连接的残差块，判别网络包括10个卷积层；重新定义模型的损失函数并对模型进行训练，得到训练好的重建网络模型，根据训练好的重建网络模型重建出高分辨率图像。本发明专利技术解决了图像超分辨率重建领域中模型训练困难、模型精度有待提高、生成图像质量低的问题，同时实现图像感知质量和SSIM参数的均衡优化。
【技术实现步骤摘要】
本专利技术涉及一种基于残差生成网络的图像超分辨率重建方法，属于图像重建。
技术介绍
1、图像超分辨率重建是机器视觉领域的一个经典应用，它的含义是从一个低分辨率的输入图像中重建出一个高分辨率的输出图像，通过对数字图像的信号进行分析并且采用软件算法，将一帧或多帧图像重建成分辨率更高的图像或视频。它在监控设备视频通信编码、视频复原、卫星成像遥感、数字高清影像、医学图像处理等方面有着广泛的应用。
2、在深度学习的知识背景下，基于深度学习方法的图像超分辨率重建算法不断涌现，参数的调整是深度学习网络训练的重要一环，有的网络模型中所含参数量过大，导致无法很好地应用到实际之中。为解决这一问题，满开亮等人使用全局特征复用块对多层特征进行重组与综合利用，基于稠密残差网络，提出了erdn算法，使得模型参数量大幅减少，同时提高了重建质量。在之前研究所得的经验中，一般网络层数越深，所得出的效果越好，但随之而来的就是巨大的计算量。近期的工作中，为了在保持网络深度不增加的状态下提升网络的多样性，li等人提出增加残差块残差函数的种类的多尺度残差网络，使得网络可以在训练时对图像不同方面的特征进行提取融合，解决了特征提取尺度单一的问题。与之相似的sha等人提出的深度并行残差网络将局部残差学习的特征与全局残差学习的特征融合，提升了训练速度以及特征传播效率。但残差网络可能忽略图像结构和纹理的相关性，导致图像质量的降低。所以近期卢正浩等人在网络中添加注意力机制与跳跃长(短)连接以增强图像高频特征的重建以及多尺度特征的再利用，改善了纹理信息与结构信息。
3、在goodfellow等人提出gan之后，产生了很多基于gan的图像超分辨率重建的方法，近期有从数据预处理角度出发，shang等人在增强型esrgan的基础上做出改进，从卷积核的尺寸入手，将大的卷积核替换为小卷积核，降低了计算复杂度且并未损失网络性能。因为gan网络较为庞大，从轻量化的角度出发，luo等人提出轻量级晶格网络latticenet，kim等人提出轻量级srac网络，减少了网络计算量，加快了训练速度。从网络融合的角度出发，niu等人与lu等人提出将注意力机制融合进生成对抗网络，一方面提高重建图像的精度，另一方面能够提高网络训练的稳定性。上述方法均存在模型训练困难、模型精度有待提高、生成图像质量低的问题，因此为生成更加贴近真实图像、更逼真还原纹理信息的高分辨率图像，需要提出一种新的重建方案。
技术实现思路
1、本专利技术所要解决的技术问题是：提供一种基于残差生成网络的图像超分辨率重建方法，解决图像超分辨率重建领域中模型训练困难、模型精度有待提高、生成图像质量低的问题。
2、本专利技术为解决上述技术问题采用以下技术方案：
3、一种基于残差生成网络的图像超分辨率重建方法，包括如下步骤：
4、步骤1，构建超分辨率重建网络模型，所述模型包括生成网络和判别网络；其中，生成网络包括预处理层、核心残差网络以及上采样层；预处理层包括第一和第二卷积层，第一、第二卷积层的特征图数量分别对应为64、256，第一、第二卷积层的卷积核大小分别对应为9×9、3×3，第一和第二卷积层后面均设置一个relu激活层；核心残差网络包括32个依次连接的残差块，每个残差块都包括第三和第四卷积层，第三和第四卷积层之间设置relu激活层，第三和第四卷积层的卷积核大小均为3×3，第三和第四卷积层的特征图数量均为256；上采样层包括第一和第二亚像素卷积层，每个亚像素卷积层的前面设置一个特征图数量为256的卷积层，每个亚像素卷积层的后面设置一个relu激活层；上采样层输出端依次连接第五卷积层和tanh激活层，第五卷积层的特征图数量为64，卷积核大小为9×9；
5、判别网络包括10个卷积层，卷积层的特征图数量每两个卷积层增加一倍，从32增加到512，每个卷积层的后面设置一个leaky relu激活层，最后一个卷积层后面接一个展平层，把多维数据转化为一维向量，在展平层后面连接两个全连接层；
6、步骤2，分别定义生成网络和判别网络的损失函数，其中，生成网络的损失包括感知损失和生成损失，将像素级mae损失与vgg损失的加权和作为感知损失；
7、步骤3，根据步骤2定义的损失函数对步骤1构建的超分辨率重建网络模型进行训练，得到训练好的超分辨率重建网络模型，利用训练好的超分辨率重建网络模型将原始低分辨率图像重建为高分辨率图像。
8、作为本专利技术的一种优选方案，所述像素级mae损失的表达式如下：
9、
10、其中，表示像素级mae损失，r为降采样系数，w、h分别为图像的长度、宽度，表示高分辨率图像，表示低分辨率图像，g代表生成网络，生成网络中的参数表示为θg。
11、作为本专利技术的一种优选方案，所述vgg损失通过使用预先训练好的vgg19网络提取高级特征，利用高级特征进行定义，vgg损失的表达式如下：
12、
13、其中，表示vgg损失，φi,j表示vgg19网络中第i个最大池化层之前的第j个卷积层，wi,j、hi,j分别为vgg19网络中重建出的超分辨率图像的特征图的高度和宽度，表示高分辨率图像，表示低分辨率图像，g代表生成网络，生成网络中的参数表示为θg。
14、作为本专利技术的一种优选方案，所述生成损失的表达式如下：
15、
16、其中，表示生成损失，n为模型训练时每批样本大小，为重建图像是否是一个自然图像的重建概率，ilr表示低分辨率图像。
17、作为本专利技术的一种优选方案，所述生成网络的损失函数表达式如下：
18、
19、其中，表示生成网络的损失，表示像素级mae损失，表示vgg损失，表示生成损失，wmae-loss、wvgg/i.j-loss、wgen-loss分别为像素级mae损失、vgg损失、生成损失对应的权重。
20、作为本专利技术的一种优选方案，所述判别网络的损失函数表达式如下：
21、
22、其中，表示判别网络的损失，n为模型训练时每批样本大小，gradientpenalty为梯度惩罚，为判别网络判断重建图像是否是一个自然图像的概率，为判别网络判断训练数据集中高分辨率图像ihr是否是一个自然图像的概率。
23、一种计算机设备，包括存储器、处理器，以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于残差生成网络的图像超分辨率重建方法的步骤。
24、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于残差生成网络的图像超分辨率重建方法的步骤。
25、本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：
26、1、本专利技术通过残差生成网络构建新的重建网络模型，并对模型的损失函数重新定义，该网络模型精度高，在图像超分辨率重建方面达到了比本文档来自技高网
...
【技术保护点】
1.一种基于残差生成网络的图像超分辨率重建方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于残差生成网络的图像超分辨率重建方法，其特征在于，所述像素级MAE损失的表达式如下：
3.根据权利要求1所述的基于残差生成网络的图像超分辨率重建方法，其特征在于，所述VGG损失通过使用预先训练好的VGG19网络提取高级特征，利用高级特征进行定义，VGG损失的表达式如下：
4.根据权利要求1所述的基于残差生成网络的图像超分辨率重建方法，其特征在于，所述生成损失的表达式如下：
5.根据权利要求1所述的基于残差生成网络的图像超分辨率重建方法，其特征在于，所述生成网络的损失函数表达式如下：
6.根据权利要求1所述的基于残差生成网络的图像超分辨率重建方法，其特征在于，所述判别网络的损失函数表达式如下：
7.一种计算机设备，包括存储器、处理器，以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的基于残差生成网络的图像超分辨率重建方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于残差生成网络的图像超分辨率重建方法的步骤。
...
【技术特征摘要】
1.一种基于残差生成网络的图像超分辨率重建方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于残差生成网络的图像超分辨率重建方法，其特征在于，所述像素级mae损失的表达式如下：
3.根据权利要求1所述的基于残差生成网络的图像超分辨率重建方法，其特征在于，所述vgg损失通过使用预先训练好的vgg19网络提取高级特征，利用高级特征进行定义，vgg损失的表达式如下：
4.根据权利要求1所述的基于残差生成网络的图像超分辨率重建方法，其特征在于，所述生成损失的表达式如下：
5.根据权利要求1所述的基于残差生成网络的图像超分辨率重建方法，其特征在...
【专利技术属性】
技术研发人员：于文学，周国祥，尤敏捷，操星，徐姣，平红，
申请(专利权)人：江苏征途技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。