结合深度学习与梯度转换的单幅图像超分辨率重建方法技术

本发明专利技术公开了一种结合深度学习与梯度转换的单幅图像超分辨率重建方法。主要包括以下步骤：用基于深度学习的超分辨率方法对输入的低分辨率图像进行上采样，得到上采样图像；用梯度算子对上采样图像进行梯度提取；用深度卷积神经网络对提取到的梯度进行转换；将输入的低分辨率图像与转换后的梯度作为约束，建立重建代价函数；利用梯度下降法来最优化重建代价函数，得到最终输出的高分辨率图像。本发明专利技术所述的单幅图像超分辨率重建方法重建的图像在主观视觉效果上具有精细的结构、几乎没有人工效应，且具有很高的客观评价参数值。因此，本发明专利技术是一种有效的单幅图像超分辨率重建方法。

【技术实现步骤摘要】

本专利技术涉及图像超分辨率重建技术，具体涉及一种结合深度学习与梯度转换的单幅图像超分辨率重建方法，属于数字图像处理领域。
技术介绍
现实生活中，由于成像设备和成像环境的限制，以及传输过程中图像信息的丢失，人们获取的图像往往是低分辨率、低质量的，难以满足需求。图像超分辨率重建技术，是在不需要增加硬件成本的情况下，通过信号处理技术，将输入的低分辨率图像重建成高分辨率图像的一门技术。通过图像超分辨率重建技术重建后的图像不但在空间分辨率上优于输入图像，且在主观视觉效果上也有明显的提升。图像超分辨率重建方法可以分为三类：基于插值的方法、基于重建的方法与基于学习的方法。近年来，由于机器学习与深度学习的发展，基于学习的超分辨率重建方法取到了较大的进步。基于深度学习的超分辨率方法相比传统的基于学习的超分辨率方法，具有结构简单，速度快的优点，且由于在训练阶段，基于深度学习的方法同时优化了所有操作，所以基于深度学习的方法重建出来的高分辨率图像在质量上要优于传统的基于学习的方法。但是基于深度学习的超分辨率方法的所使用的卷积神经网络是根据一般结构训练得到的，所以重建得到的图像通常会受到振铃效应与锯齿效应的影响。去除人工效应的一种方法是引入图像的先验信息对重建图像进行约束。基于梯度先验的超分辨率方法能有效的去除重建图像的振铃效应与锯齿效应，但是这类方法对图像的细节和精细结构部分不能起到很好的重建效果。
技术实现思路
本专利技术的目的是将深度学习引入到梯度转换中，并将转换后的梯度信息作为约束进行超分辨率重建，使得重建得到的图像具有更加精细的结构，并且减少振铃效应与锯齿效应的影响。本专利技术通过以下操作步骤构成的技术方案来实现上述目的。本专利技术提出的结合深度学习与梯度转换的单幅图像超分辨率重建方法，主要包括以下操作步骤：(1)用基于深度学习的超分辨率方法对输入的低分辨率图像进行上采样，得到上采样图像；(2)用梯度算子对上采样图像进行梯度提取；(3)用深度卷积神经网络对提取到的梯度进行转换；(4)将输入的低分辨率图像与步骤(3)转换得到的梯度作为约束，建立重建代价函数；(5)利用梯度下降法来最优化重建代价函数，得到最终输出的高分辨率图像。附图说明图1是本专利技术结合深度学习与梯度转换的单幅图像超分辨率重建方法的框图图2是本专利技术与现有的4种方法对“Butterfly”图像重建结果的对比图图3是本专利技术与现有的4种方法对“Foreman”图像重建结果的对比图图4是本专利技术与现有的4种方法对“Leaves”图像重建结果的对比图具体实施方式下面结合附图对本专利技术作进一步说明：图1中，结合深度学习与梯度转换的单幅图像超分辨率重建方法，包括以下步骤：(1)用基于深度学习的超分辨率方法对输入的低分辨率图像进行上采样，得到上采样图像；(2)用梯度算子对上采样图像进行梯度提取；(3)用深度卷积神经网络对提取到的梯度进行转换；(4)将输入的低分辨率图像与步骤(3)转换得到的梯度作为约束，建立重建代价函数；(5)利用梯度下降法来最优化重建代价函数，得到最终输出的高分辨率图像。具体地，所述步骤(1)中，我们使用基于深度学习的超分辨率方法对输入的低分辨率图像进行上采样，得到上采样图像。具体使用的基于深度学习的超分辨率方法为Dong等人提出的方法，参考文献“C.Dong,C.C.Loy,K.He,and X.Tang,\Image Super-Resolution Using Deep Convolutional Networks.\IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.38,no.2,pp.295-307,2016.”。所述步骤(2)中，我们使用梯度算子[-(1/2),0,(1/2)]与[-(1/2),0,(1/2)]T分别提取上采样图像水平方向与垂直方向的梯度。所述步骤(3)中，我们利用卷积神经网络对提取到的梯度进行转换，使得转换后的梯度更接近于原始梯度。该转换方法主要包括两个阶段，即训练阶段与转换阶段。在训练阶段，我们首先构建一个由3层卷积层组成的卷积神经网络，包括梯度特征提取层(L1)、梯度特征转换层(L2)以及梯度重建层(L3)。L1、L2、L3分别由不同个数的滤波器组成。L1对输入的梯度进行梯度特征提取，得到特征表示f；L2将f映射为转换后的特征表示ft，L3作用于ft来产生最终输出的转换后的梯度信息。由于ReLU能大大加快训练的收敛速度，本专利技术将其应用到训练过程中的滤波器响应上。我们将高分辨率自然图像进行双三次下采样，并用基于深度学习的超分辨率方法其进行上采样；接着我们提取上采样图像的梯度，并将其分割为36×36的块{Gl本文档来自技高网...

【技术保护点】
结合深度学习与梯度转换的单幅图像超分辨率重建方法，其特征在于包括以下步骤：步骤一：用基于深度学习的超分辨率方法对输入的低分辨率图像进行上采样，得到上采样图像；步骤二：用梯度算子对上采样图像进行梯度提取；步骤三：用深度卷积神经网络对提取到的梯度进行转换；步骤四：将输入的低分辨率图像与步骤三转换得到的梯度作为约束，建立重建代价函数；步骤五：利用梯度下降法来最优化重建代价函数，得到最终输出的高分辨率图像。

【技术特征摘要】
1.结合深度学习与梯度转换的单幅图像超分辨率重建方法，其特征在于包括以下步骤：步骤一：用基于深度学习的超分辨率方法对输入的低分辨率图像进行上采样，得到上采样图像；步骤二：用梯度算子对上采样图像进行梯度提取；步骤三：用深度卷积神经网络对提取到的梯度进行转换；步骤四：将输入的低分辨率图像与步骤三转换得到的梯度作为约束，建立重建代价函数；步骤五：利用梯度下降法来最优化重建代价函数，得到最终输出的高分辨率图像。2.根据权利要求1所述的结合深度学习与梯度转换的单幅图像超分辨率重建方法，其特征在于步骤三所述的利用卷积神经网络对提取到的梯度进行转换：在训练阶段，首先构建一个由3层卷积层组成的卷积神经网络，包括梯度特征提取层、梯度特征转换层以及梯度重建层，然后我们将从上采样图像中提取到的梯度与从原始自然图像中提取到的梯度对应分...

【专利技术属性】
技术研发人员：何小海，陈敬勖，陈洪刚，滕奇志，卿粼波，熊淑华，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51