一种基于重建优化和深度神经网络的超分辨率实现方法技术

本发明专利技术公开了一种基于重建优化和深度神经网络的超分辨率实现方法。该方法的具体步骤如下：(1)通过降采样方法，建立高分辨率图像与下采样图像之间的关系；通过最小二乘法建立目标函数：(2)利用共轭梯度下降算法对目标函数进行迭代优化，得到一张基于重建优化算法的高分辨率图像；(3)建立并训练完成一个三层全卷积神经网络；(4)将步骤(2)得到的高分辨率图像输入三层全卷积神经网络中，进一步提高图像的分辨率。利用本发明专利技术方法无论是在主观评测还是客观图像质量评价方面，都能取得很好的成果。

【技术实现步骤摘要】
一种基于重建优化和深度神经网络的超分辨率实现方法
本专利技术涉及计算摄像学领域，尤其涉及一种基于重建优化和深度神经网络的超分辨率实现方法。
技术介绍
图像超分辨率技术旨在从一张(单帧超分辨率)或一系列(多帧超分辨率)低分辨率图像中恢复出具有更多高频细节的高分辨率图像。现有的实现图像超分辨率的算法主要分为两大类：基于重建的方法和基于学习的方法。基于重建的算法通过模拟下采样的逆过程，从一系列互相具有亚像素偏移的低分辨图像中重建出一张高分辨率图像。然而，这种基于重建的方法因为缺少图像的高频细节信息，所以其求解过程实质上是一个病态过程。通过在目标函数中引入正则化项，如一范数或二范数等，可以在一定程度上解决这个问题。从理论上讲，添加L1范数或L2范数正则化项相当于在目标函数中加入了拉普拉斯分布和高斯分布的先验信息。基于学习的算法是通过学习图像的内部信息(即图像的相似性)或外部信息(即学习高低分辨率图像对之间的映射函数)来进行重建。目前，基于深度学习的算法在图像超分辨问题上有不错的视觉效果。然而尽管如此，但这些基于学习的方法是根据低分辨率输入图像和学习到的映射函数来直接对丢失的高频细节进行推测，这将很可能会导致错误的结果，即与真实的图像信息不符。
技术实现思路
针对以上现有方法中存在的缺陷，本专利技术的目的在于提出一种创新的多帧超分辨率实现方法，该方法通过将基于重建的优化技术和三层全卷积神经网络级联，能够恢复出一张性能优异的高分辨率图像。为达上述目的，本专利技术采用的技术方案如下：一种基于重建优化和深度神经网络的超分辨率实现方法，包括如下步骤：步骤1，通过降采样方法，建立高分辨率图像与下采样图像之间的关系；其中X代表高分辨率图像，表示下采样矩阵，表示经过下采样之后的低分辨率图像，s代表放大系数并且s＝4，s2表示重建所需要的图像数量；将多张低分辨率图像作为已知量，通过最小二乘法建立目标函数并引入一个辅助求解的变量Q：其中，β是正则化项的权重系数，θ是辅助项的权重系数；步骤2，将目标函数中的Q值初始值设置为0，只迭代收敛目标函数中的X变量，目标函数写成：利用共轭梯度算法对目标函数进行收敛，直至找到目前最优的X值；步骤3，将目标函数中的X值取步骤2优化后的值，然后只优化目标函数中Q值的大小，目标函数变为：通过特征收敛Lasso回归模型，得到目前最优的Q值，然后作为步骤2目标函数中Q值的取值；步骤4，反复执行步骤2和步骤3，迭代优化目标函数中的X值和Q值，直到得到的X值趋于收敛时，停止迭代，此时的X值即为基于重建算法的最优重建结果，得到一张基于重建优化算法的高分辨率图像；步骤5，建立一个三层全卷积神经网络，第一层网络作用于输入图像，第二层网络包括两层卷积层，这两层卷积层都有128个特征，卷积核分别为9×9和5×5；每一层卷积层后都采用修正线性单元加入非线性映射，并使用自适应矩估计优化器对训练过程进行优化；最后一层网络用于图像的重建，利用卷积层提取出的高阶特征，将图像从低阶空间域映射到高阶空间域中；步骤6，从图像库中选择N张自然图像，对每张图像进行下采样产生s2张相互具有亚像素偏移的低分辨率图像；选取步长为l像素，将低分辨率图像和高分辨率图像分别都裁剪成k×k的图像块，得到M对高分辨率图像对；利用这些图像对，对步骤5的网络参数进行训练；步骤7，训练完成之后，将步骤4得到的高分辨率图像作为网络输入，通过所述三层全卷积神经网络的处理，输出一张最终重建得到的超分辨图像。本专利技术提出了一种新颖的多帧超分辨率实现方法，通过结合基于重建的超分辨率技术和全卷积层神经网络，能够重建出一张包含高频细节信息的高分辨率图像。与其他先进的超分辨率技术相比，本专利技术方法在主观和客观的评测中都具有更优异的性能，通过验证比较，本专利技术方法可以在目前最优的超分辨率技术上再提高7dB左右的PSNR值(峰值信噪比)。附图说明图1为本专利技术方法的流程图；图2为本专利技术实施例中三层卷积神经网络结构图；图3为本专利技术方法和其他超分辨率方法在PSNR(峰值信噪比)数值和运行时间上的统计比较图；图4为本专利技术方法和其他超分辨率方法在具体实现中的主观性能比较图。具体实施方式下面将结合附图及具体实施例对本专利技术进行详细描述。本专利技术首先采用基于重建的超分辨率技术，将多个具有亚像素偏移的低分辨率图像序列作为输入。考虑到问题的病态性，在目标函数中加入L1范数对求解过程进行约束。L1正则化项有助于生成一个稀疏权值矩阵，进而可以用于特征选择。通过共轭梯度对目标函数进行快速收敛，从而得到一张高分辨率图像。在基于重建的超分辨率技术中，当放大系数过大或者输入图像不足时，无可避免地会产生振铃现象。本专利技术中应用了一个三层全卷积神经网络来抑制这种振铃现象，对之前输出的高分辨率图像做进一步优化处理。该方法不仅利用了重建技术中从多张低分辨率图像中获得的信息，而且从神经网络中学到足够信息。因此本专利技术方法选择性地结合了这两种技术的优点，从而实现了一种性能卓越的超分辨率技术。参照图1，本实施例的一种基于重建优化和深度神经网络的超分辨率方法，具体步骤如下：步骤1，假定低分辨率图像大小为M×N，超分辨率放大因子为s＝4，则重建出的高分辨率图像大小为Ms×Ns。令X∈RM×N表示高清图像，表示图像的下采样矩阵，表示经过下采样之后得到的低分辨率图像，则高分辨率图像X和低分辨率图像之间的关系可以表示为：超分辨率的目标是为了从输入的多张低分辨率图像中重建出高分辨率图像X。利用最小二乘法原理，可以建立目标函数(2)。考虑到超分辨率问题存在的病态性，该方法在目标函数中引入了L1范数对函数进行约束。考虑到不方便对L1范数进行求导，该方法又引入了一个辅助变量Q帮助优化求解。将目标函数构成如下形式：观察公式(3)的形式，可以方便地利用Lasso特征收敛技术对后两项进行优化。其中，β表示正则化项的权重系数，将其设为β＝0.1；θ是辅助项的权重系数，初始值设为θ＝0.001，之后每迭代一次都会执行θ＝θ×0.99来加速目标函数的收敛。步骤2，在这一步骤中，初始时，设置目标函数中的Q＝0，之后将Q值大小固定为由步骤3得到的优化Q值。在步骤2中，只优化目标函数中的X变量。此时，目标函数可以简化成：利用共轭梯度算法可以迅速对目标函数进行收敛，直至找到目前最优的X值。共轭梯度有许多优点，首先其只使用一阶导数，非常简单。另外，由于不需要其他额外的参数，所以共轭梯度算法能够快速稳定地对函数进行收敛。步骤3，在这一步骤中，只优化目标函数中的Q值，而变量X取步骤2中优化后的X值。在此步骤中，目标函数可以简化成：因为该函数具有lasso回归模型的性质，只需通过lasso特征收敛技术，就可以得到目前最优的Q值。步骤4，重复执行步骤2和步骤3，通过迭代地固定X值优化Q值，再固定Q值优化X值，可以不断更新目前最优的X值和Q值。当前后两次迭代过程后重建的X值之差小于所设定的阈值时，停止迭代操作，此时X的值即为基于重建算法的最优重建结果。步骤5，输出一张基于重建算法的高分辨率图像。该图像从输入的低分辨率图像中获取信息，重建出丢失的高频细节信息。但在基于重建的算法中，当放大系数较大或者输入图像不足时，会无法避免地产生振铃现象，所以后续对该高分辨率图像进行进一步优化处理。步骤本文档来自技高网...

【技术保护点】
一种基于重建优化和深度神经网络的超分辨率实现方法，其特征在于，包括如下步骤：步骤1，通过降采样方法，建立高分辨率图像与下采样图像之间的关系；

【技术特征摘要】
1.一种基于重建优化和深度神经网络的超分辨率实现方法，其特征在于，包括如下步骤：步骤1，通过降采样方法，建立高分辨率图像与下采样图像之间的关系；其中X代表高分辨率图像，表示下采样矩阵，表示经过下采样之后的低分辨率图像，s代表放大系数并且s＝4，s2表示重建所需要的图像数量；将多张低分辨率图像作为已知量，通过最小二乘法建立目标函数并引入一个辅助求解的变量Q：其中，β是正则化项的权重系数，θ是辅助项的权重系数；步骤2，将目标函数中的Q值初始值设置为0，只迭代收敛目标函数中的X变量，目标函数写成：利用共轭梯度算法对目标函数进行收敛，直至找到目前最优的X值；步骤3，将目标函数...

【专利技术属性】
技术研发人员：马展，吴洁，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32