一种图像超分辨率重建方法、系统及计算机存储介质技术方案

本发明专利技术涉及一种图像超分辨率重建方法、系统及计算机存储介质，其方法包括以下步骤，S1，将原始图像重塑为固定大小尺寸的图像，得到原始高分辨率图像，将原始高分辨率图像进行插值下采样，得到低分辨率图像；S2，基于生成网络对低分辨率图像进行基于边缘增强的超分辨率重建，得到超分辨率图像；S3，基于判别网络和原始高分辨率图像对超分辨率图像进行真伪判别。本发明专利技术其将单一的低分辨图像通过边缘细节信息增强表达，在原始超分辨率重建生成网络中加入边缘增强融合网络提高了图像超分辨率重建性能，获得更清晰的重建图像；另外，判别网络也可以提升边缘增强生成对抗网络的重建性能。

An image super-resolution reconstruction method, system and computer storage medium

The invention relates to an image super-resolution reconstruction method, a system and a computer storage medium. The method comprises the following steps: S1, remolding the original image into an image of a fixed size, obtaining the original high-resolution image, interpolating and sampling the original high-resolution image to obtain the low-resolution image; S2, making the low-resolution image based on the generated network based on the edge S3, based on the discrimination network and the original high-resolution image to distinguish the authenticity of the super-resolution image. The invention enhances the expression of a single low-resolution image through the edge detail information, adds the edge enhancement fusion network to the original super-resolution reconstruction generation network, improves the image super-resolution reconstruction performance, and obtains a clearer reconstruction image; in addition, the discrimination network can also improve the reconstruction performance of the edge enhancement generation countermeasure network.

【技术实现步骤摘要】
一种图像超分辨率重建方法、系统及计算机存储介质
本专利技术涉及图像超分辨率
，具体涉及一种图像超分辨率重建方法、系统及计算机存储介质。
技术介绍
人脸超分辨率重建是基于图像超分辨率重建的思想，结合人脸图像中的结构性特征所产生有侧向性的图像超分辨率重建算法，实现从信息量较少的低分辨率(Low-Resolution，LR)人脸图像能够还原恢复出信息量丰富的高分辨率(High-Resolution，HR)人脸图像的技术。人脸超分辨率技术能够提升人脸图像的分辨率和清晰度，使得在原始极低分辨率图像中有限的人脸信息能够得到更加细致的表达，在安防、刑侦等应用中发挥了重要的作用。Dong等人将图像超分辨率重建(Super-Resolution，SR)问题带入深度学习的时代，首次将卷积神经网络应用于图像超分辨率重建问题。在此之后图像超分辨率重建算法百家争鸣，Kim等人借鉴图像分类问题中(VisualGeometryGroup，VGG)网络架构，提出网络越深效果越好的(DeepConvolutionalNetworkforImageSuper-Resolution，VDSR)。但是在实际的测试中由于VDSR其缺乏层间信息反馈及上下文信息关联而不能达到设想的效果。Ledig等人将生成式对抗网络用于SR问题，提出(Super-ResolutionGenerativeAdversarialNetwork,SRGAN)和基于残差学习的(Super-ResolutionResidualNetwork,SRResnet)。SRGAN和SRResnet算法在通用图像上能够实现较好的效果，但是由于人脸的结构性的缺失使得生成的人脸图像在具有伪影等模糊现象。在人脸超分辨重建任务上，通用场景图像的深度学习超分辨率方法对人脸目标的前景和背景内容没有区分，导致重建人脸图像与背景部分、五官与面部过渡部分细节模糊，难以满足实际需求。Lu等人通过双重中继残差网络直接用于人脸图像的超分辨率重建中，获得了边缘增强的人脸图像，但是面部细节的恢复不够清晰。Yang等人增强SRGAN中判别网络的判别能力反向促进生成器生成能力的思路设计出侧重于人脸超分辨率重建，使得更好的恢复出人脸细节信息。人脸生成图像具有很好的视觉主观效果，但是在人脸边缘部分细节信息不够明显。
技术实现思路
本专利技术所要解决的技术问题是提供一种图像超分辨率重建方法、系统及计算机存储介质，能够有效提升图像的超分辨率重建性能。本专利技术解决上述技术问题的技术方案如下：一种图像超分辨率重建方法，包括以下步骤，S1，将原始图像重塑为固定大小尺寸的图像，得到原始高分辨率图像，将所述原始高分辨率图像进行插值下采样，得到低分辨率图像；S2，基于生成网络对所述低分辨率图像进行基于边缘增强的超分辨率重建，得到超分辨率图像；S3，基于判别网络和所述原始高分辨率图像对所述超分辨率图像进行真伪判别；当所述超分辨率图像为伪图像时，基于判别结果学习隐藏在所述生成网络中的损失函数，调整所述生成网络的隐变量参数，基于学习调整后的所述生成网络，重复执行所述S2，直至所述超分辨率图像为真图像；当所述超分辨率图像为真图像时，结束操作。本专利技术的有益效果是：本专利技术提供了一种图像超分辨率重建方法，其将单一的低分辨图像通过边缘细节信息增强表达，在原始超分辨率重建生成网络中加入边缘增强融合网络提高了图像超分辨率重建性能，获得更清晰的重建图像；另外，判别网络也可以提升边缘增强生成对抗网络的重建性能。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步，所述S2具体包括，在所述生成网络中，S21，对所述低分辨率图像进行全局浅层特征提取和边缘浅层特征提取，得到图像全局浅层特征和图像边缘浅层特征；S22，对所述图像全局浅层特征和所述图像边缘浅层特征分别进行残差密集学习，得到图像全局深层特征和图像边缘深层特征；S23，对所述图像全局深层特征和所述图像边缘深层特征进行边缘增强融合，得到边缘增强的低分辨率图像特征图；S24，对所述低分辨率图像特征图进行上采样，并通过激活函数对所述低分辨率图像特征图进行重建，得到超分辨率图像。进一步，所述S21具体为，利用两层k3n128s1的卷积层对所述低分辨率图像进全局浅层特征提取，得到图像全局浅层特征；利用拉普拉斯算子对所述低分辨率图像进行边缘区域提取，得到图像边缘区域；利用一层k3n128s1的卷积层对所述图像边缘区域进行边缘浅层特征提取，得到图像边缘浅层特征。进一步，所述S22具体为，利用十六层残差卷积层分别对所述图像全局浅层特征和所述图像边缘浅层特征进行残差密集连接计算，得到所述图像全局深层特征和所述图像边缘深层特征。采用上述进一步方案的有益效果是：生成网络使用残差密集学习方式来进一步获得深层特征提取，使用感知损失由计算图像在特征空间上的差距，最小化图像特征之间的欧氏距离使得SR在语义上与HR差异性更小。进一步，所述S23具体为，利用一层k1n128s1的卷积层分别对所述图像全局深层特征和所述图像边缘深层特征进行特征降维；利用一层k3n128s1的卷积层分别对经过特征降维后的所述图像全局深层特征和所述图像边缘深层特征进行尺度缩小；利用Concat层对经过尺寸缩小后的所述图像全局深层特征和所述图像边缘深层特征进行通道连接；利用一层k1n128s1的卷积层减少所述图像全局深层特征和所述图像边缘深层特征进行通道连接的通道数量，完成跨通道的交互和信息整合，得到边缘增强的低分辨率图像特征图。进一步，所述S24具体为，利用子像素卷积对所述低分辨率图像特征图进行上采样，并通过激活函数对经过上采样后的所述低分辨率图像特征图进行重建，得到所述超分辨率图像。进一步，在所述S3中，判别网络对所述超分辨率图像进行真伪判别的具体过程为，将所述超分辨率图像和所述原始高分辨率图像输入至判别网络中；利用一层k3n64s1的卷积层提取所述超分辨率图像和所述原始高分辨率图像的浅层特征，得到浅层特征图像；利用一层k3n64s2的卷积层减小所述浅层特征图像的大小，得到小尺寸浅层特征图像；利用4层密集连接层对所述小尺寸浅层特征图像进行密集连接计算，得到深层特征图像；利用激活函数对所述深层特征图像进行真伪判别，得到的判别结果即为所述超分辨率图像的真伪。基于上述一种图像超分辨率重建方法，本专利技术还提供一种图像超分辨率重建系统。一种图像超分辨率重建系统，包括预处理模块、生成网络和判别网络；所述预处理模块用于，将原始图像重塑为固定大小尺寸的图像，得到原始高分辨率图像，将所述原始高分辨率图像进行插值下采样，得到低分辨率图像；所述生成网络用于，对所述低分辨率图像进行基于边缘增强的超分辨率重建，得到超分辨率图像；所述判别网络用于，利用所述原始高分辨率图像对所述超分辨率图像进行真伪判别，当所述超本文档来自技高网...

【技术保护点】
1.一种图像超分辨率重建方法，其特征在于：包括以下步骤，/nS1，将原始图像重塑为固定大小尺寸的图像，得到原始高分辨率图像，将所述原始高分辨率图像进行插值下采样，得到低分辨率图像；/nS2，基于生成网络对所述低分辨率图像进行基于边缘增强的超分辨率重建，得到超分辨率图像；/nS3，基于判别网络和所述原始高分辨率图像对所述超分辨率图像进行真伪判别；/n当所述超分辨率图像为伪图像时，基于判别结果学习隐藏在所述生成网络中的损失函数，调整所述生成网络的隐变量参数，基于学习调整后的所述生成网络，重复执行所述S2，直至所述超分辨率图像为真图像；/n当所述超分辨率图像为真图像时，结束操作。/n

【技术特征摘要】
1.一种图像超分辨率重建方法，其特征在于：包括以下步骤，
S1，将原始图像重塑为固定大小尺寸的图像，得到原始高分辨率图像，将所述原始高分辨率图像进行插值下采样，得到低分辨率图像；
S2，基于生成网络对所述低分辨率图像进行基于边缘增强的超分辨率重建，得到超分辨率图像；
S3，基于判别网络和所述原始高分辨率图像对所述超分辨率图像进行真伪判别；
当所述超分辨率图像为伪图像时，基于判别结果学习隐藏在所述生成网络中的损失函数，调整所述生成网络的隐变量参数，基于学习调整后的所述生成网络，重复执行所述S2，直至所述超分辨率图像为真图像；
当所述超分辨率图像为真图像时，结束操作。


2.根据权利要求1所述的一种图像超分辨率重建方法，其特征在于：所述S2具体包括，在所述生成网络中，
S21，对所述低分辨率图像进行全局浅层特征提取和边缘浅层特征提取，得到图像全局浅层特征和图像边缘浅层特征；
S22，对所述图像全局浅层特征和所述图像边缘浅层特征分别进行残差密集学习，得到图像全局深层特征和图像边缘深层特征；
S23，对所述图像全局深层特征和所述图像边缘深层特征进行边缘增强融合，得到边缘增强的低分辨率图像特征图；
S24，对所述低分辨率图像特征图进行上采样，并通过激活函数对所述低分辨率图像特征图进行重建，得到超分辨率图像。


3.根据权利要求2所述的一种图像超分辨率重建方法，其特征在于：所述S21具体为，
利用两层k3n128s1的卷积层对所述低分辨率图像进全局浅层特征提取，得到图像全局浅层特征；
利用拉普拉斯算子对所述低分辨率图像进行边缘区域提取，得到图像边缘区域；利用一层k3n128s1的卷积层对所述图像边缘区域进行边缘浅层特征提取，得到图像边缘浅层特征。


4.根据权利要求2所述的一种图像超分辨率重建方法，其特征在于：所述S22具体为，
利用十六层残差卷积层分别对所述图像全局浅层特征和所述图像边缘浅层特征进行残差密集连接计算，得到所述图像全局深层特征和所述图像边缘深层特征。


5.根据权利要求2所述的一种图像超分辨率重建方法，其特征在于：所述S23具体为，
利用一层k1n128s1的卷积层分别对所述图像全局深层特征和所述图像边缘深层特征进行特征降维；
利用一层k3n128s1的卷积层分别对经过特征降维后的所述图像全局深层特征和所述图像边缘深层特征进行尺度缩小；
利用Concat层对经过尺寸缩小后的所述图像全局深层特征和所述图像边缘深层特征进行通道连接；
利用一层k1n128s1的卷积层减少所述图像全局深层特征和所述图像边缘深层特征进...

【专利技术属性】
技术研发人员：卢涛，陈冲，张彦铎，许若波，周强，郝晓慧，魏博识，郎秀娟，王宇，吴志豪，王彬，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：湖北;42