基于图像纹理信息构建损失函数的高分辨率图像预测方法技术

本发明专利技术公开了一种基于图像纹理信息构建损失函数的高分辨率图像预测方法。首先随机初始化SRCNN卷积神经网络的连接权重与偏置，并设置网络参数；将训练数据预处理后获得高、低分辨率图像对训练集；接着将低分辨率图像输入网络框架，得到网络输出的高分辨率图像；然后，采用考虑图像纹理信息的损失函数进行误差计算，如果未达到迭代次数则进行权值修正，最终得到训练好的网络；在测试阶段，输入低分辨率图像至训练好的网络，得到预测的高分辨率图像。本发明专利技术构建的损失函数不仅可以度量像素损失，而且还可以度量图像纹理信息损失，克服了SRCNN卷积神经网络超分辨算法的不足，有效实现了SRCNN算法性能的进一步提升。

High resolution image prediction method based on image texture information and loss function

The invention discloses a high resolution image prediction method based on image texture information to construct loss function. Firstly, the connection weights and biases of SRCNN convolution neural network are randomly initialized, and the network parameters are set. After the training data are pretreated, the training set of high and low resolution image pairs is obtained. Then, the low resolution image is input into the network framework to obtain the high resolution image output by the network. Then, the high resolution image output by the network is obtained by taking into account the texture information of the image. The loss function is used to calculate the error. If the number of iterations is not reached, the weights are corrected to get the trained network. In the test stage, the low-resolution image is input to the trained network to get the predicted high-resolution image. The loss function constructed by the invention can not only measure the loss of pixels, but also the loss of image texture information, overcome the shortcomings of the SRCNN convolution neural network super-resolution algorithm, and effectively realize the further improvement of the performance of the SRCNN algorithm.

【技术实现步骤摘要】
基于图像纹理信息构建损失函数的高分辨率图像预测方法
本专利技术涉及一种图像预测方法，尤其涉及基于深度学习的图像预测方法，属于人工智能

技术介绍
深度学习(DeepLearning)作为近几年来计算机视觉和模式识别中的研究重点，受到了学者们越来越多的研究关注，以深度学习理论为基础的图像超分辨技术更是发展迅速。目前，在诸多研究成果中，从合理构建损失函数角度开展深度学习超分辨算法性能提升的研究层出不穷，且对图像超分辨质量产生了许多有益的效果。比如：[1]LedigC,WangZ,ShiW,etal.Photo-RealisticSingleImageSuper-ResolutionUsingaGenerativeAdversarialNetwork[C]//ComputerVisionandPatternRecognition.IEEE,2017。[2]YuX,PorikliF.Ultra-ResolvingFaceImagesbyDiscriminativeGenerativeNetworks[J].2016。[3]BrunaJ,SprechmannP,LecunY.Super-ResolutionwithDeepConvolutionalSufficientStatistics[J].ComputerScience,2015。在SRCNN算法中(具体参考：DongC,ChenCL,HeK,etal.LearningaDeepConvolutionalNetworkforImageSuper-Resolution[J].2014,8692:184-199.)，使用的损失函数为MSE(meansquarederror，均方误差)函数，如式(1)所示：其中，n是训练样本的数量，F是高低分辨率图像端到端的映射函数，Θ＝{W1,W2,W3,B1,B2,B3}表示SRCNN三层卷积神经网络的权重和偏置，式(1)表示超分辨率图像F(Y；Θ)和实际高分辨率图像X之间损失函数。然而，通过最小化上述损失函数获得的超分辨图像细节特征仍然不够丰富和明显，图像的很多重要细节显得过于平滑。分析原因可以发现：MSE损失函数仅能简单衡量网络输出的高分辨率图像和真实高分辨率图像之间在像素值上的差异，而不能从图像纹理等区域结构的角度去衡量图像信息的变化与区别。所以，仅从像素值这一低级特征角度去衡量超分辨图像和真实高分辨率图像之间的差异显然是不够的。因此，从更高级别的图像特征衡量超分辨图像和真实图像之间的损失，进一步提高损失函数感知图像细节特征变化的能力，从而提高深度学习超分辨算法性能是非常必要的。
技术实现思路
本专利技术所要解决的技术问题是：为克服SRCNN算法的不足，提出一种考虑图像纹理信息损失的高分辨率图像预测方法，以改善SRCNN超分辨算法的性能，实现高分辨率图像的预测。本专利技术为解决上述技术问题采用以下技术方案：一种基于图像纹理信息构建损失函数的高分辨图像预测方法，包括如下步骤：步骤1、网络初始化：随机初始化SRCNN卷积神经网络的连接权重与偏置，并设置网络参数，包括：卷积核尺寸、卷积核数量、学习率、移动步长、迭代次数；步骤2、训练数据预处理：用双三次插值扩展训练图像数据集，获得高、低分辨率图像对训练集；步骤3、网络预测：将低分辨率图像输入基于SRCNN卷积神经网络框架，得到网络输出的高分辨率图像；步骤4、误差计算：计算网络输出的高分辨率图像和步骤2所得高分辨率图像的损失函数值，判断迭代次数是否达到预设，如果是，则网络训练结束，转入步骤6；如果否，则转入步骤5；步骤5、权值修正：计算步骤4中损失函数的梯度，采用经典随机梯度下降法修正网络权值，然后转入步骤3；步骤6、输出结果：获得网络训练后各类参数的最优结果，得到训练好的网络；步骤7、测试阶段：输入低分辨率图像至训练好的网络，得到预测的高分辨率图像。进一步的，本专利技术所提出的高分辨率图像预测方法，步骤3中所述SRCNN卷积神经网络共三层，训练库的图像经过第一层卷积层后得到特征图，再经过Sigmoid激活函数；然后，经过第二层卷积层得到特征图，再经过Sigmoid激活函数；最后经过第三层对特征进行卷积运算，得到网络输出的高分辨率图像。进一步的，本专利技术所提出的高分辨率图像预测方法，SRCNN卷积神经网络分为三个卷积层，其中：卷积核尺寸分别设为7×7，1×1，5×5；卷积核数量分别设置为64，32，3；学习率设置：第一层为10-5，第二层为10-6，第三层为10-7；移动步长为1×1；迭代次数设为15；每一层权重初始化均值为0、标准差为0.001的高斯分布，每一层的偏置初始化为0，每一层卷积输出均采用Sigmoid函数为激活函数。进一步的，本专利技术所提出的高分辨率图像预测方法，步骤4中计算网络输出高分辨率图像和步骤2所得高分辨率图像的损失函数值，所述损失函数值包括像素值损失，以及按一定权重计算的图像纹理信息损失，如下式：LMSE-V＝LMSE+λLVAR，其中，LMSE-V为损失函数，LMSE为经典MSE损失函数，表示图像像素值损失；LVAR为图像纹理特征损失，实现高、低分辨率图像块各自方差的绝对差计算；λ为权重系数。进一步的，本专利技术所提出的高分辨率图像预测方法，图像像素值损失LMSE函数具体计算方法如下：图像纹理特征损失LVAR函数具体计算方法如下：其中，IHR表示高分辨率图像块，ILR表示低分辨率图像块，F(ILR)为超分辨率图像块，var(.)为对图像块求方差，和分别表示对应图像块的均值，W为图像块的宽，单位为像素，H为图像块的高，单位为像素，x和y为图像的像素的下标索引。本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：本专利技术构建了一个考虑图像纹理信息的损失函数，该损失函数包括一个均方误差损失函数和一个纹理信息损失函数。本专利技术构建的损失函数不仅可以度量像素损失，而且还可以度量图像纹理特征损失，将该损失函数与SRCNN算法结合，可以实现SRCNN算法性能的进一步提升，输入低分辨率图像实现高分辨率图像的预测，有非常实际的应用价值。附图说明图1是本专利技术的方法流程图。具体实施方式下面结合附图对本专利技术的技术方案做进一步的详细说明：本
技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本专利技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。本专利技术在SRCNN超分辨算法框架下，构建了一种新的基于MSE和图像方差最小化的损失函数。本专利技术提出的损失函数以MSE为基础，在计算像素值损失的同时按一定权重计算区域纹理特征损失，可以表达为式(2)。LMSE-V＝LMSE+λLVAR(2)其中，LMSE-V为总损失函数，LMSE为经典MSE损失函数，表示图像像素值损失，具体表达如式(3)；LVAR为图像纹理特征损失，实现高、低分辨率图像块各自方差的绝对差计算，具体表达如式(4)；λ为权重系数。将该损失函数应用到SRCNN算法框架中，则可以提高超分辨算法对图像纹理细节的捕捉和感知能力，从而提高超分辨图像本文档来自技高网...

【技术保护点】
1.一种基于图像纹理信息构建损失函数的高分辨率图像预测方法，其特征在于，包括如下步骤：步骤1、网络初始化：随机初始化SRCNN卷积神经网络的连接权重与偏置，并设置网络参数，包括：卷积核尺寸、卷积核数量、学习率、移动步长、迭代次数；步骤2、训练数据预处理：用双三次插值扩展训练图像数据集，获得高、低分辨率图像对训练集；步骤3、网络预测：将低分辨率图像输入基于SRCNN卷积神经网络框架，得到网络输出的高分辨率图像；步骤4、误差计算：计算网络输出的高分辨率图像和步骤2所得高分辨率图像的损失函数值，判断迭代次数是否达到预设，如果是，则网络训练结束，转入步骤6；如果否，则转入步骤5；步骤5、权值修正：计算步骤4中损失函数的梯度，采用经典随机梯度下降法修正网络权值，然后转入步骤3；步骤6、输出结果：获得网络训练后各类参数的最优结果，得到训练好的网络；步骤7、测试阶段：输入低分辨率图像至训练好的网络，得到预测的高分辨率图像。

【技术特征摘要】
1.一种基于图像纹理信息构建损失函数的高分辨率图像预测方法，其特征在于，包括如下步骤：步骤1、网络初始化：随机初始化SRCNN卷积神经网络的连接权重与偏置，并设置网络参数，包括：卷积核尺寸、卷积核数量、学习率、移动步长、迭代次数；步骤2、训练数据预处理：用双三次插值扩展训练图像数据集，获得高、低分辨率图像对训练集；步骤3、网络预测：将低分辨率图像输入基于SRCNN卷积神经网络框架，得到网络输出的高分辨率图像；步骤4、误差计算：计算网络输出的高分辨率图像和步骤2所得高分辨率图像的损失函数值，判断迭代次数是否达到预设，如果是，则网络训练结束，转入步骤6；如果否，则转入步骤5；步骤5、权值修正：计算步骤4中损失函数的梯度，采用经典随机梯度下降法修正网络权值，然后转入步骤3；步骤6、输出结果：获得网络训练后各类参数的最优结果，得到训练好的网络；步骤7、测试阶段：输入低分辨率图像至训练好的网络，得到预测的高分辨率图像。2.根据权利要求1所述的方法，其特征在于，步骤3中所述SRCNN卷积神经网络共三层，训练库的图像经过第一层卷积层后得到特征图，再经过Sigmoid激活函数；然后，经过第二层卷积层得到特征图，再经过Sigmoid激活函数；最后经过第三层对特征进行卷积运算，得到网络输出的高分辨率图像。3.根据权利要求1或2所述...

【专利技术属性】
技术研发人员：赵丽玲，张泽林，林屹，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏,32