基于多种互补先验的视频超分辨率重建算法制造技术

本发明专利技术公开了一种基于多种互补先验的视频超分辨率重建方法。主要包括以下骤：对输入的低分辨率的视频帧，我们将连续三帧作为一组，然后分别利用MSEPLL，MNLR和SKR方法来重建中间帧，得到高分辨率图片F1、F2和F3，并将它们作为初始的输入图片；利用得到的三张高分辨率图像F1、F2和F3，对它们进行如下处理：F1‑F2＝C1，F3‑F2＝C2，并得到残差图像C1和C2；对于前面得到的残差图像C1和C2，我们采用Gabor滤波器对它们进行滤波处理，并得到残差图像C3和C4；对于残差图像C4，我们用C4减去C3，得到残差图像C5，然后用Gauss滤波器对其进行滤波处理，得到残差图像C6；对于残差图像C3和残差图像C6，我们对其进行一个自适应加权并得到残差图像C7，最后将其叠加到F2上得到最终的重建图像。

【技术实现步骤摘要】
基于多种互补先验的视频超分辨率重建算法
本专利技术涉及图像超分辨率重建技术，具体涉及一种基于多种互补先验的视频超分辨率重建算法，属于数字图像领域。
技术介绍
图像与视频具有简单直观、表现力强、信息含量丰富等特点，是人类获取和传递信息的重要方式。因此，研究和处理图像与视频信息具有十分重要的意义。随着信息化技术的发展，人们对接收和到的信息的要求也越来越高，尤其在医学、遥感、天文以及视频监控等应用领域中，都需要获得高分辨率的视频来传递更为精确的信息。然而在实际采集视频时，往往受到欠采样、大气扰动、散焦以及系统噪声等因素的影响，所获得的视频的空间分辨率不高。改善成像系统中的硬件设备是提高视频分辨率较为简单的途径，但是成本太高，所以我们考虑通过软件的方法来提高图片和视频的分辨率。而超分辨率重建技术正是针对这一问题而提出来，它现在也是图像处理领域的一个热点。视频超分辨率重建技术利用相似的连续低分辨率视频帧，通过利用视频帧之间的冗余信息来抑制噪声、减少模糊，从而获得高分辨率视频帧。视频帧受到各种噪声或冗余信息的不足的影响，这使超分辨率重建成为病态问题,因此通过正则化项来约束解空间的方法可以有效地解决这个问题。但是现有的一些方法容易产生不好的人工效应，例如对平坦区域的噪声抑制较差，边缘产生锯齿效应，重建图像过于平滑或者产生振铃效应等。
技术实现思路
本专利技术的目的就在于为解决上述问题而提供一种基于多种互补先验的视频超分辨率重建算法。本专利技术提出的一种基于多种互补先验的视频超分辨率重建算法，具体可以分为以下几个步骤：(1)对输入的低分辨率的视频帧，我们将连续三帧作为一组，然后分别利用MSEPLL，MNLR和SKR方法来重建中间帧，并得到高分辨率图片F1、F2和F3，并将它们作为初始的输入图片；(2)利用步骤(1)中得到的三张高分辨率图像F1、F2和F3，对它们进行如下处理：F1-F2＝C1，F3-F2＝C2，并得到残差图像C1和C2；(3)对于步骤(2)中的残差图像C1和C2，我们采用Gabor滤波器对它们进行滤波处理，并得到残差图像C3和C4；(4)对于步骤(3)中的残差图像C4，我们用C4减去C3，得到残差图像C5，然后用Gauss滤波器对其进行滤波处理，得到残差图像C6；(5)对于步骤(3)中的残差图像C3和步骤(4)中的残差图像C6，我们对它们进行一个自适应加权并得到残差图像C7，最后将其叠加到F2上得到最终的重建图像。附图说明图1是本专利技术基于多种互补先验的视频超分辨率重建算法原理框图图2是本专利技术与七种方法对没有加入噪声的视频“Miss-american”中第15帧的重建结果的对比图图3是本专利技术与七种方法对加入方差为3高斯白噪声的视频“Akiyo”中第15帧的重建结果的对比图图4是本专利技术与七种方法对加入方差为5高斯白噪声的视频“Suzie”的第15帧的重建结果的对比图具体实施方式下面结合附图对本专利技术作进一步说明：图1中，基于多种互补先验的视频超分辨率重建算法，具体可以分为以下几个步骤(其中操作一、操作二和操作三表示分别用MSEPLL,MNLR和SKR来重建低分辨率帧)：(1)对输入的低分辨率的视频帧，我们将连续三帧作为一组，然后分别利用MSEPLL，MNLR和SKR方法来重建中间帧，并得到高分辨率图片F1、F2和F3，并将它们作为初始的输入图片；(2)利用步骤(1)中得到的三张高分辨率图像F1、F2和F3，对它们进行如下处理：F1-F2＝C1，F3-F2＝C2，并得到残差图像C1和C2；(3)对于步骤(2)中的残差图像C1和C2，我们采用Gabor滤波器对它们进行滤波处理，并得到残差图像C3和C4；(4)对于步骤(3)中的残差图像C4，我们用C4减去C3，得到残差图像C5，然后用Gauss滤波器对其进行滤波处理，得到残差图像C6；(5)对于步骤(3)中的残差图像C3和步骤(4)中的残差图像C6，我们对其它们进行一个自适应加权并得到残差图像C7，最后将其叠加到F2上得到最终的重建图像。具体地，所述步骤(1)中，对输入的低分辨率的视频帧，我们将连续三帧作为一组，然后分别利用MSEPLL,MNLR和SKR方法来重建中间帧，并得到高分辨率图片F1、F2、F3。具体每种方法的使用如下：首先介绍图像的降质过程，高分辨率图像f经过退化模型后，最终产生了低分辨率图像序列gi，整个过程对应的数学表达式为：gi＝DBiEif+ni,(i＝1,...,p)(1)其中，D表示下采样过程，Bi表示模糊过程，Ei表示坐标变换过程(旋转，平移等)，ni表示噪声。下面我们介绍MSEPLL先验：其中，操作S＝DH表示在进行下采样操作D后再进行低通滤波H，表示从抽样信号SX中提取第i个块。然后我们可以通过求解下面的式子来重建低分辨率图像：为了优化上面的式子，我们采用HalfQuadraticSplitting。然后我们添加辅助变量zi和他们分别代表从原始尺寸图片中提取的块和从上采样的图片中提取的块。结果我们得到了如下的式子：我们假设β为一个常量，用来表示采用MSEPLL迭代多次的结果，并用X来表示干净的图片。其中用来表示对原始尺寸图片中的噪声水平的估计，并用来表示上采样图片噪声水平的估计。然后我们可以通过解决如下两个MAP问题来更新zi和对于两种尺寸的图片的局部先验均采用GMM模型,然后我们在得到zi和后通过解决如下的式子来更新X，最后，我们通过采用ConjugateGradient来求解计算矩阵的逆。对于SKR先验我们能够表示为:WiS为一个行向量,Si为以为中心的局部邻域内的采样点以字典顺序构成的列向量。WiS中的元素也与Si中的元素一一对应。调整核回归(SKR)正则化超分辨率重建的代价函数变为：然后我们可以通过梯度下降法对其进行求解。对于MNLR先验，我们可以表示为：其中，n表示相关帧的数量。对于在第k帧中以像素j为中心的块，Sk,jF表示从第(k-1)帧，第k帧和第(k+1)帧中搜索相似块。λ是一个权衡参数，Zk,j是一个矩阵，并与Sk,jF很相似。然后我们可以通过求解下面的公式来重建高分辨率帧，其β中λ和都是权衡参数。我们用Split-Bregman迭代来解决这个问题,公式(11)中的问题可以被分解为紧接着我们可以通过下面的式子来更新F，通过上面的几种先验在超分辨率技术中的应用，我们很容易得到F1、F2和F3。所述步骤(2)中利用步骤(1)中得到的三张高分辨率图像F1、F2和F3，对它们进行如下处理：F1-F2＝C1，F3-F2＝C2，并得到残差图像C1和C2；所述步骤(3)中对于步骤(2)中的残差图像C1和C2，我们采用Gabor滤波器对它们进行滤波处理，并得到残差图像C3和C4；所述步骤(4)中对于步骤(3)中的残差图像C4，我们用C4减去C3，得到残差图像C5，然后用Gauss滤波器对其进行滤波处理，得到残差图像C6；所述步骤(5)中的残差图像C3和步骤(4)中的残差图像C6，我们对它们进行一个自适应加权并得到残差图像C7，自适应加权的方式为：C7＝mC3+nC6(15)其中m和n为加权系数，它们能够通过下面的式子确定其中α和β分别用来反映初始图片中的噪声水平。我们均假设噪声为高斯白噪声，它们均表示噪声方差。最后将残差叠加到F2本文档来自技高网...

【技术保护点】
基于多种互补先验的视频超分辨率重建算法，其特征在于包括以下步骤：步骤一：对输入的低分辨率的视频帧，我们将连续三帧作为一组，然后分别利用MSEPLL，MNLR和SKR方法来重建中间帧，得到高分辨率图片F1、F2和F3，并将它们作为初始的输入图片；步骤二：利用步骤一中得到的三张高分辨率图像F1、F2和F3，对它们进行如下处理：F1‑F2＝C1，F3‑F2＝C2，并得到残差图像C1和C2；步骤三：对于步骤二中的残差图像C1和C2，我们采用Gabor滤波器对它们进行滤波处理，并得到残差图像C3和C4；步骤四：对于步骤三中的残差图像C4，我们用C4减去C3，得到残差图像C5，然后用Gauss滤波器对其进行滤波处理，得到残差图像C6；步骤五：对于步骤三中的残差图像C3和步骤四中的残差图像C6，我们对它们进行一个自适应加权并得到残差图像C7，最后将其叠加到F2上得到最终的重建图像。

【技术特征摘要】
1.基于多种互补先验的视频超分辨率重建算法，其特征在于包括以下步骤：步骤一：对输入的低分辨率的视频帧，我们将连续三帧作为一组，然后分别利用MSEPLL，MNLR和SKR方法来重建中间帧，得到高分辨率图片F1、F2和F3，并将它们作为初始的输入图片；步骤二：利用步骤一中得到的三张高分辨率图像F1、F2和F3，对它们进行如下处理：F1-F2＝C1，F3-F2＝C2，并得到残差图像C1和C2；步骤三：对于步骤二中的残差图像C1和C2，我们采用Gabor滤波器对它们进行滤波处理，并得到残差图像C3和C4；步骤四：对于步骤三中的残差图像C4，我们用C4减去C3，得到残差图像C5，然后用Gauss滤波器对其进行滤波处理，得到残差图像C6；步骤五：对于步骤三中的残差图像C3和步骤四中的残差图像C6，我们对它们进行一个自适应加权并得到残差图像C7，最后将其叠加到F2上得到最终的重建图像。2.根据权利要求1所述的基于多种互补先验的视频超分辨率重建算...

【专利技术属性】
技术研发人员：何小海，戴茂华，王正勇，陈洪刚，陈娣，吴小强，陶青川，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川,51