基于深层残差CNN的图像超分辨率方法、装置及存储介质制造方法及图纸

本发明专利技术实施例提供了一种基于深层残差CNN的图像超分辨率方法，包括：构建深层残差CNN模型，将低分辨率图像输入所述深层残差CNN模型进行识别，得到识别后的图像；将所述识别后的图像输入VGG损失网络进行识别效果评价，获取具备超分辨率的识别图像。本发明专利技术实施例还提供了一种主动交互装置及非暂态可读存储介质，用来实现所述方法。本发明专利技术可以使识别后的图像具备高频信息、纹理细节充足合理且噪声较低的优点。

Image Super Resolution Method, Device and Storage Media Based on Deep Residual CNN

The embodiment of the present invention provides an image super-resolution method based on deep residual CNN, which includes: constructing deep residual CNN model, inputting low-resolution image into the deep residual CNN model for recognition, and obtaining the recognized image; inputting the identified image into VGG loss network for evaluation of recognition effect, and obtaining the recognition result. Recognition image with super-resolution is obtained. The embodiment of the present invention also provides an active interactive device and a non-transient readable storage medium for realizing the method. The method can make the recognized image have the advantages of high frequency information, sufficient and reasonable texture details and low noise.

【技术实现步骤摘要】
基于深层残差CNN的图像超分辨率方法、装置及存储介质
本专利技术实施例涉及深度学习
，尤其涉及一种基于深层残差CNN的图像超分辨率方法、装置及存储介质。
技术介绍
图像超分辨率(SuperResolution,SR)是将低分辨率(LowResolution,LR)图像通过一定的算法提升到高分辨率(HighResolution,HR)图像的过程。现有技术提出了基于感知损失函数的超分辨率重建，并成功地生成边缘更加锐化的高感知质量的图像。虽然图像重建性能有了较大的提高，但重构出来的图像在纹理细节方面还有待提高。目前在损失函数方面，对于输出结果是图像的网络，通常做法是将结果与真值进行逐像素的欧式距离(EuclideanDistance)之和作为网络的损失函数来指导神经网络进行训练的。虽然这样做可以得到很不错的效果，但是网络训练的结果往往存在平滑的缺点，缺少高频信息，利用欧式距离不能够控制图像细节的生成，得到的图像基本在细节方面表现不足。感知损失是指将利用卷积神经网络分别处理输出图像和真实图像后得到的特征映射的逐点欧式距离和作为损失函数。实践证明，感知损失(PerceptualLoss)函数的训练结果具有很多高频信息，虽然能克服逐像素损失缺少高频信息的特点，但是它在纹理区域会产生较多的噪声。因此，找到一种能够具备高精度图像特征识别能力，并且使识别后的图像具备高频信息、纹理细节充足合理且噪声较低的图像特征识别方法，就成为业界亟待解决的技术问题。
技术实现思路
针对现有技术存在的上述问题，本专利技术实施例提供了一种基于深层残差CNN的图像超分辨率方法、装置及存储介质。一方面，本专利技术实施例提供了一种基于深层残差CNN的图像超分辨率方法，包括：构建深层残差CNN模型，将待分辨图像输入所述深层残差CNN模型进行识别，得到识别后的图像；将所述识别后的图像输入VGG损失网络进行识别效果评价，获取具备超分辨率的识别图像；其中，所述VGG损失网络采用综合损失函数对所述识别后的图像进行识别效果评价。另一方面，本专利技术实施例提供了一种主动交互装置及一种非暂态可读存储介质。所述一种主动交互装置包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行所述一种基于深层残差CNN的图像超分辨率方法。所述一种非暂态可读存储介质存储程序指令，用于执行所述一种基于深层残差CNN的图像超分辨率方法。本专利技术实施例提供了一种基于深层残差CNN的图像超分辨率方法、装置及存储介质，通过采用深层残差CNN识别图像特征的同时，在VGG损失网络采用综合损失函数对识别后的图像进行特征评估，可以使识别后的图像具备高频信息、纹理细节充足合理且噪声较低的优点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例中基于深层残差CNN的图像超分辨率方法的整体流程图；图2是本专利技术实施例中基于深层残差CNN的图像超分辨率的网络结构整体示意图；图3是本专利技术实施例中深层残差CNN的结构示意图；图4是本专利技术实施例中残差单元内部结构示意图；图5是本专利技术实施例中不同损失函数实验效果对比图；图6是本专利技术中不同损失函数纹理效果对比图；图7是本专利技术实施例中不同处理方法的峰值信噪比及结构相似性效果示意图；图8是本专利技术实施例的硬件装置工作示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供了一种基于深层残差CNN的图像超分辨率方法、装置及存储介质。参见图1，图1是本专利技术实施例中基于深层残差CNN的图像超分辨率方法的整体流程图，包括：S101：构建深层残差CNN模型，将低分辨率图像输入所述深层残差CNN模型进行识别，得到识别后的图像。S102：将所述识别后的图像输入VGG损失网络进行识别效果评价，获取具备超分辨率的识别图像。其中，所述VGG损失网络采用综合损失函数对所述识别后的图像进行识别效果评价。参见图2，图2是本专利技术实施例中基于深层残差CNN的图像超分辨率的网络结构整体示意图，包括：输入图像201、深层残差CNN202、内容目标203、识别后的图像204、纹理目标205、VGG损失网络206、特征损失207及纹理损失208。整体框架由两部分组成：深层残差CNN202和VGG损失网络206,深层残差CNN202参数是权重W，它把输入图像201(用X表示)通过映射转换成识别后的图像204(用表示)，每一个损失函数计算一个标量值这个标量值衡量识别后的图像204(用表示)和目标图像yi之间的差距。其中，该差距又可以分为内容目标203及纹理目标205的差距。上述两项差距通过在VGG损失网络206上计算特征损失207及纹理损失208分别得到。在另一实施例中，本专利技术深层残差CNN网络的层数为20层，以使其提取的特征的抽象程度更高，所述20层网络分别是：两个步幅为一的卷积层，用于对所述待分辨图像做卷积；三个残差单元，用于提高所述待分辨图像的识别精度，并防止所述识别精度退化；两个步幅为二分之一的卷积层，用于做上采样；输出层，用于输出识别后的图像。参见图3，图3是本专利技术实施例中深层残差CNN的结构示意图，包括：步幅为一的卷积层301及步幅为一的卷积层302，用于对待分辨图像做卷积；残差单元303、残差单元304及残差单元305，用于提高所述待分辨图像的识别精度，并防止所述识别精度退化；步幅为二分之一的卷积层306及步幅为二分之一的卷积层307，用于做上采样(即放大图像)；输出层308，用于输出识别后的图像。本实施例的残差单元303、残差单元304及残差单元305均具备五层卷积层。因此，深层残差CNN网络的层数就是20层，以使其提取的特征的抽象程度更高。表1是4倍图像超分辨率深层残差CNN网络结构。在另一实施例中，步幅为一的卷积层301后面设置一个批规范化和RELU非线性映射。此外，步幅为一的卷积层302、步幅为二分之一的卷积层306及步幅为二分之一的卷积层307，上述每个卷积层后面也与步幅为一的卷积层301后面相同，分别设置一个批规范化和RELU非线性映射。表1表1中，如果每个残差单元均设置为5层卷积层，则整个深层残差CNN就具备20层深度。参见图4，图4是本专利技术实施例中残差单元内部结构示意图，包括：卷积层401、卷积层402、卷积层403、卷积层404、卷积层405及权重406。其中，各卷积层的滤波器均为3*3滤波器。残差单元包含五个相同参数的卷积层，卷积核为3，采用稠密性跳跃连接，原始输入经过卷积层401卷积后，将结果输入卷积层402处理，卷积层402的输出与其输入相加，作为输出结果输入到卷积层403。以此类本文档来自技高网...

【技术保护点】
1.一种基于深层残差CNN的图像超分辨率方法，其特征在于，包括：构建深层残差CNN模型，将低分辨率图像输入所述深层残差CNN模型进行识别，得到识别后的图像；将所述识别后的图像输入VGG损失网络进行识别效果评价，获取具备超分辨率的识别图像；其中，所述VGG损失网络采用综合损失函数对所述识别后的图像进行识别效果评价。

【技术特征摘要】
1.一种基于深层残差CNN的图像超分辨率方法，其特征在于，包括：构建深层残差CNN模型，将低分辨率图像输入所述深层残差CNN模型进行识别，得到识别后的图像；将所述识别后的图像输入VGG损失网络进行识别效果评价，获取具备超分辨率的识别图像；其中，所述VGG损失网络采用综合损失函数对所述识别后的图像进行识别效果评价。2.根据权利要求1所述的方法，其特征在于，所述深层残差CNN模型，包括：两个步幅为一的卷积层，用于对所述待分辨图像做卷积；三个残差单元，用于提高所述待分辨图像的识别精度，并防止所述识别精度退化；两个步幅为二分之一的卷积层，用于做上采样；输出层，用于输出识别后的图像。3.根据权利要求2所述的方法，其特征在于，每个残差单元均具有五层卷积层。4.根据权利要求3所述的方法，其特征在于，所述五层卷积层之间...

【专利技术属性】
技术研发人员：柴晓亮，周登文，段然，赵丽娟，
申请(专利权)人：华北电力大学，
类型：发明
国别省市：北京,11