基于致密链接神经网络的图像超分辨率方法、存储介质和终端技术

本发明专利技术公开了基于致密链接神经网络的图像超分辨率方法、存储介质和终端，方法包括：图像预处理；特征提取：搭建致密链接神经网络，将低分辨率图像Input从致密链接神经网络的入口输入，经过计算后提取出Input中包含的特征信息；预测超分辨率图像并更新网络参数：将特征提取完成的图像进行上采样/反卷积，得到预测图像Predict；计算预测图像Predict以及真实图像Label之间的误差值，反向更新致密链接神经网络的参数；超分辨率重构。本发明专利技术能够显著提高深度神经网络提取图像低频和高频特征的能力，提高图像超分辨率的效果，提高图片提供信息的能力，因此应用在期望得到高分辨率图像、期望图片能够提供更多细节的领域。

【技术实现步骤摘要】
基于致密链接神经网络的图像超分辨率方法、存储介质和终端
本专利技术涉及医疗图像与卫星图像处理领域，尤其涉及基于致密链接神经网络的图像超分辨率方法、存储介质和终端。
技术介绍
超分辨率技术SR(Super-Resolution)是指从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。SR可分为两类:从多张低分辨率图像重建出高分辨率图像和从单张低分辨率图像重建出高分辨率图像。基于深度学习的SR，主要是基于单张低分辨率的重建方法，即SingleImageSuper-Resolution(SISR)。SISR是一个逆问题，对于一个低分辨率图像，可能存在许多不同的高分辨率图像与之对应，因此通常在求解高分辨率图像时会加一个先验信息进行规范化约束。在传统的方法中，这个先验信息可以通过若干成对出现的低-高分辨率图像的实例中学到。而基于深度学习的SR通过神经网络直接学习分辨率图像到高分辨率图像的端到端的映射函数。目前已经有一些基于深度学习的研究被人提出，例如2016年研究人员提出的Super-ResolutionConvolutionalNeuralNetwork(SRCNN)，是较早地提出的做SR的卷积神经网络。该网络结构十分简单，仅仅用了三个卷积层。该方法对于一个低分辨率图像，先使用双三次(bicubic)插值将其放大到目标大小，再通过三层卷积网络做非线性映射，得到的结果作为高分辨率图像输出。作者将三层卷积的结构解释成与传统SR方法对应的三个步骤：图像块的提取和特征表示，特征非线性映射和最终的重建。SRCNN的层数较少，同时感受野也较小，DRCN(Deeply-RecursiveConvolutionalNetworkforImageSuper-Resolution)提出使用更多的卷积层增加网络感受野(41x41)，同时为了避免过多网络参数，该文章提出使用递归神经网络(RNN)。与SRCNN类似，该网络分为三个模块，第一个是Embeddingnetwork，相当于特征提取，第二个是Inferencenetwork,相当于特征的非线性变换，第三个是Reconstructionnetwork,即从特征图像得到最后的重建结果。其中的Inferencenetwork是一个递归网络，即数据循环地通过该层多次。相比于SRCNN，DRCN取得了更好的超分辨率效果，但是生成图像的时间也大大地增加了。SRGAN(Photo-RealisticSingleImageSuper-ResolutionUsingaGenerativeAdversarialNetwork)将生成式对抗网络(GAN)用于SR问题。其出发点是传统的方法一般处理的是较小的放大倍数，当图像的放大倍数在4以上时，很容易使得到的结果显得过于平滑，而缺少一些细节上的真实感。因此SRGAN使用GAN来生成图像中的细节，SRGAN生成的超分辨率图像，相比于其他基于深度神经网络的方法而言更加真实生动，但是也伴随着一系列的问题，首先是图像的还原度并不高，使用PSNR和SSIM这两个指标来定量看SRGAN的超分辨率效果并不是很高。其次，SRGAN网络结构复杂，这意味着训练成本更高，更能难训练，更难得到平稳的超分辨率效果。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供基于致密链接神经网络的图像超分辨率方法、存储介质和终端，解决现有技术网络复杂并且速度较慢的问题。本专利技术的目的是通过以下技术方案来实现的：基于致密链接神经网络的图像超分辨率方法，包括以下步骤：图像预处理：将训练图像进行随机切割得到对应的高分辨率图像Label，对Label进行图像增强，对增强后的Label进行下采样生成低分辨率图像Input；特征提取：搭建致密链接神经网络，将低分辨率图像Input从致密链接神经网络的入口输入，经过计算后提取出Input中包含的特征信息；预测超分辨率图像并更新网络参数：将特征提取完成的图像进行上采样/反卷积，得到分辨率达到预期的高分辨率预测图像Predict；计算预测图像Predict以及真实图像Label之间的误差值，反向更新致密链接神经网络的参数；超分辨率重构：将需要超分辨计算的图像进行顺序切割，将切割后得到的若干Patch输入到致密链接神经网络中进行超分辨率计算得到每一个Patch的一个预测值Output，将每个Patch的output按顺序进行拼接得到最终的超分辨率图片。进一步地，所述的致密链接神经网络包括N个普通卷积层、N-1个激活函数层、N-2个致密链接卷积组和1个上采样/反卷积层；每个致密链接卷积组中包括M个顺序连接的致密链接卷积层，并且致密链接卷积组中的所有致密链接卷积层均与该卷积组内的其他致密链接卷积层链接；前N-1个顺序连接的普通卷积层之间均顺序连接有一个激活函数层和一个致密链接卷积组，而第N-1个普通卷积层的输出端还顺序连接有第N-1个激活函数层、第N个普通卷积层和上采样/反卷积层。进一步地，所述的对增强后的Label进行下采样生成低分辨率图像Input中的下采样的计算公式如下：对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的得分辨率图像，s为M和N的公约数，当考虑的是矩阵形式的图像，就是把原始图像s*s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值：式中，Pk表示经过下采样后这个s*s大小的图片碎片剩下的那一个像素点的值，win(k)表示这个s*s大小的图片碎片，k代表第几个这样的图像碎片，k的大小由图像大小和s的大小决定，Ii表示这s*s大小的图片碎片中的其中一个像素点。进一步地，所述的提取出Input中包含的特征信息的计算公式如下：Fl＝max(0,Wl×Fl-1)其中，Wl表示第l层卷积层的权重，Fl表示第l层卷积层输出的特征图；因此每一层卷积层能够产生k×(l-1)+k0，其中k0代表输入的通道数，k表示致密链接型卷积层的特征增长步长。进一步地，所述的将特征提取完成的图像进行上采样/反卷积，得到分辨率达到预期的高分辨率预测图像Predict的计算公式如下：式中，将第l层网络的输出当做第l+1层网络的输入，其中表示第l层的特征图k和第l-1层的特征图c的连接情况，如果连接则为1，否则为0；式中，Cl(y)表示目标函数，目标就是对其进行优化是它的值趋近于0，λ表示是一个系数常量，I表示输入图片的像素的数量，Kl表示第L层卷积特征图数量，第L层第k副特征图，表示第C层第K个卷积核，表示第c层第L-1副特征图，p是一项超参数，数量根据网络的效果进行修改，一般大小设定在(0,1)之间。进一步地，所述的计算预测图像Predict以及真实图像Label之间的误差值采用均方差损失函数，计算公式如下：式中，Xi是预测图像Predict，Yi是真实图像Label，映射F是致密链接神经网络需要学习的函数，包含参数有权重W和偏置B，n表示训练样本的数量。进一步地，在采用均方差损失函数计算得到误差值后，所述的误差值为三维矩阵，分别代表RGB三通道；对不同通道的误差值乘以不同权值，其中G通道的权值最高；所述的权值来自彩色图像到灰度图像的转换公式。进一步地，所述的反向更新本文档来自技高网...

【技术保护点】
1.基于致密链接神经网络的图像超分辨率方法，其特征在于：包括以下步骤：图像预处理：将训练图像进行随机切割得到对应的高分辨率图像Label，对Label进行图像增强，对增强后的Label进行下采样生成低分辨率图像Input；特征提取：搭建致密链接神经网络，将低分辨率图像Input从致密链接神经网络的入口输入，经过计算后提取出Input中包含的特征信息；预测超分辨率图像并更新网络参数：将特征提取完成的图像进行上采样/反卷积，得到分辨率达到预期的高分辨率预测图像Predict；计算预测图像Predict以及真实图像Label之间的误差值，反向更新致密链接神经网络的参数；超分辨率重构：将需要超分辨计算的图像进行顺序切割，将切割后得到的若干Patch输入到致密链接神经网络中进行超分辨率计算得到每一个Patch的一个预测值Output，将每个Patch的output按顺序进行拼接得到最终的超分辨率图片。

【技术特征摘要】
1.基于致密链接神经网络的图像超分辨率方法，其特征在于：包括以下步骤：图像预处理：将训练图像进行随机切割得到对应的高分辨率图像Label，对Label进行图像增强，对增强后的Label进行下采样生成低分辨率图像Input；特征提取：搭建致密链接神经网络，将低分辨率图像Input从致密链接神经网络的入口输入，经过计算后提取出Input中包含的特征信息；预测超分辨率图像并更新网络参数：将特征提取完成的图像进行上采样/反卷积，得到分辨率达到预期的高分辨率预测图像Predict；计算预测图像Predict以及真实图像Label之间的误差值，反向更新致密链接神经网络的参数；超分辨率重构：将需要超分辨计算的图像进行顺序切割，将切割后得到的若干Patch输入到致密链接神经网络中进行超分辨率计算得到每一个Patch的一个预测值Output，将每个Patch的output按顺序进行拼接得到最终的超分辨率图片。2.根据权利要求1所述的基于致密链接神经网络的图像超分辨率方法，其特征在于：所述的致密链接神经网络包括N个普通卷积层、N-1个激活函数层、N-2个致密链接卷积组和1个上采样/反卷积层；每个致密链接卷积组中包括M个顺序连接的致密链接卷积层，并且致密链接卷积组中的所有致密链接卷积层均与该卷积组内的其他致密链接卷积层链接；前N-1个顺序连接的普通卷积层之间均顺序连接有一个激活函数层和一个致密链接卷积组，而第N-1个普通卷积层的输出端还顺序连接有第N-1个激活函数层、第N个普通卷积层和上采样/反卷积层。3.根据权利要求1所述的基于致密链接神经网络的图像超分辨率方法，其特征在于：所述的对增强后的Label进行下采样生成低分辨率图像Input，其中下采样的原理如下解释：对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的得分辨率图像，s为M和N的公约数，当考虑的是矩阵形式的图像，就是把原始图像s*s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值：式中，Pk表示经过下采样后这个s*s大小的图片碎片剩下的那一个像素点的值，win(k)表示这个s*s大小的图片碎片，k代表第几个这样的图像碎片，k的大小由图像大小和s的大小决定，Ii表示这s*s大小的图片碎片中的其中一个像素点。4.根据权利要求2所述的基于致密链接神经网络的图像超分辨率方法，其特征在于：所述的提取出Input中包含的特征信息的计算公式如下：Fl＝max(0,Wl×Fl-1)其中，Wl表示第l层卷积层的权重，Fl表示第l层卷积层输出的特征图；因此每一层卷积层能够产生k×(l-1)+k0，其中k0代表输入的通道数，k表示致密链接型卷积层的特征增长步长。5.根据权利要求2所述的基于致密链接神经网络的图像超分辨率方法，其特征在于：所述的将特征提取完成的图像进行上采样/反卷积，得到分辨率达到预期的高分辨率预测图像Predict...

【专利技术属性】
技术研发人员：匡平，马霆松，王豪爽，郭雯霞，陈鹏，彭亮，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51