一种基于联合正则化的视频超分辨率重建方法技术

本发明专利技术公开了一种基于联合正则化的视频超分辨率的重建方法。包括以下步骤：建立低分辨率观察模型；通过基于正则化的最小均方方法，建立一个通用的视频重建的代价函数；构建基于补偿的TV(CTV)正则化项以及赋予区域空间自适应加权系数以减小配准误差带来的不良影响；构建多幅非局部低秩(MNLR)正则化项；建立本发明专利技术基于联合正则化的视频超分辨率重建的代价函数；用Split‑Bregman迭代方法求解代价函数，重建出高分辨率视频。本发明专利技术所述的视频超分辨率重建方法重建出来的视频帧具有丰富的边缘信息，并且几乎没有锯齿效应，从视频重建帧可以看出本方法抑制噪声的能力也很好,在客观评价参数上具有很高的参考值。所以本发明专利技术是一种有效的视频超分辨率重建方法。

【技术实现步骤摘要】

本专利技术设计一种基于联合正则化的视频超分辨率重建方法，尤其是本正则化项既考虑了视频帧内的相关性，又考虑到了视频帧间的相关性，能够在保持视频帧边缘细节信息的同时,很好的抑制噪声，属于数字图像处理领域。
技术介绍
在获取视频的过程中，由于大气扰动、欠采样、系统噪声以及光学与运动模糊等因素的影响，导致得到的视频质量退化，分辨率降低。随着人们对视频的清晰度的要求越来越高，如何提高视频的分辨率成为亟待解决的问题。超分辨率重建技术因不需要高昂的硬件成本就能具有良好的重建效果而受到国内外研究学者的广泛的关注，是近几年图像处理和计算机视觉等领域的研究热点。视频超分辨率重建时利用相似又不相同的连续低分辨率视频帧，通过视频帧之间的冗余信息、抑制噪声、减少模糊现象获得高分辨率视频帧。视频帧受到各种噪声或冗余信息的不足使超分辨率重建成为病态问题,因此通过正则化项约束高分辨率图像解空间的方法可以解决这个问题。Tikhonov正则化项实现简单，但是此正则化在约束噪声的同时模糊了图像边缘，这种方法会使重建的图像过于平滑。基于全变分(TV)和双边全变分(BTV)的正则化约束是较为普遍运用的图像先验模型，由于它们能够去除噪声的的同时重建出锐化的图像，保存图像边缘细节信息，但是当视频受到较大噪声影响时，在平坦区域处理效果不佳，容易产生伪边缘，在边缘区域也容易产生锯齿效应。
技术实现思路
本专利技术针对以上正则化的不足，提出了一种联合正则化方法，将基于补偿的的TV(CTV)与多幅非局部低秩正则化项结合起来，充分利用两种正则化的不同优点，在考虑到视频帧内相关性的同时，探索视频帧间的相关性，在正则化项中引入相邻视频帧之间的冗余信息。同时考虑到CTV中配准残差带来的不良影响，对CTV设计了区域空间信息滤波的加权系数，减小了配准残差对视频的重建的消极影响。使得重建算法在消除噪声的同时保持视频帧的边缘细节信息。本专利技术提出基于联合正则化的视频超分辨率重建方法，主要包含以下操作步骤：(1)建立低分辨率观察模型；(2)通过基于正则化的最小均方方法，建立一个通用的视频重建的代价函数；(3)构建基于运动补偿的TV(CTV)正则化项并赋予区域空间自适应加权系数以减小配准误差的不良影响；(4)构建多幅非局部低秩(MNLR)正则化项；(5)根据步骤(3)与步骤(4)中的正则化项，建立本专利技术基于联合正则化的视频超分辨率重建的代价函数；(6)用Split-Bregman迭代方法求解代价函数，重建出高分辨率视频。附图说明图1是本专利技术基于联合正则化的视频超分辨率重建方法的框图图2是本专利技术与四种方法对视频”Mobile”的第15帧的重建结果的对比图图3是本专利技术与四种方法对视频”Grandma”的第15帧的重建结果对比图图4是本专利技术与四种方法对视频”Akiyio”的第15帧的重建结果帧对比图具体实施方式基于联合正则化的视频重建方法主要包含以下步骤：(1)建立低分辨率观察模型；(2)通过基于正则化的最小均方方法，建立一个通用的视频重建的代价函数；(3)构建基于运动补偿的TV(CTV)正则化项并赋予区域空间自适应加权系数以减小配准误差的不良影响；(4)构建多幅非局部低秩(MNLR)正则化项；(5)根据步骤(3)与步骤(4)中的正则化项，建立本专利技术基于联合正则化的视频超分辨率重建的代价函数；(6)用Split-Bregman迭代方法求解代价函数。具体的，所述步骤(1)中视频帧的低分辨率观察模型为：yk＝DBfk+N 1≤k≤K, (1)其中yk，fk分别为第k帧低分辨率视频帧与第k帧高分辨率视频帧，D为下采样因子，B为模糊因子，N为随机噪声，K为视频帧数。所述步骤(2)中，在视频超分辨率重建时引入适当的先验信息来构造高分辨率视频的约束，来引导视频的超分辨率重建，可以通过基于正则化的最小均方方法来实现，公式如下：其中，第一项为数据保真项，第二项为正则化项，λ为正则化的加权系数。所述步骤(3)中构造基于补偿的TV(CTV)正则化项。该方法包含以下步骤：第一步，假设对每一帧fk，有其中Qk-1，Bk+1分别表示以fk为参考帧对fk-1,fk+1的运动补偿操作，本专利技术使用光流法进行运动估计；第二步，将参考帧与运动补偿后的相邻帧之间的残差设置在梯度域，公式如下：其中G表示梯度操作，G＝[Gh,Gv],Gh与Gv分别表示水平和垂直方向的差分操作。本专利技术中将残差设置在梯度域，而非与传统全变分(TV)一样将原始图像设置在梯度域，是因为如果运动估计足够精确，残差将会比原始图像更加的稀疏。由于CTV依赖与视频帧的内容与相邻帧之间的差分，所以它对边缘不敏感。然而，相邻帧之间存在着复杂的局部运动，精确的运动配准很难获得，因此配准残差将会影响视频的重建结果。考虑到步骤(3)中sk的精确性，在梯度域中对每一sk添加一个区域空间自适应权重，使得CTV转换成为CATV,公式如下：其中步骤Wk的求解步骤如下；第一步，需要提取空间结构信息，由于对于高频成分，二阶导数可以区分图像边缘与噪声区域，所以将基于二阶导数的曲率差分边缘提取算子运用到正则化权重系数定义中。像素j点处的曲率差分为：Cj＝||eηη|-|eεε||其中，ex,ey分别为像素点处水平方向和垂直方向的一阶导数，exx,exy,eyy为像素处的二阶导数。第二步，计算在像素点处的局部权重，公式如下：其中，τ为常数，控制参数强度。第三步，利用聚类算法，将wj划分M类，则图像被划分为不连续的区域，具有相似权重的像素则划分为相同的区域，每个区域的正则化强度由同一类的聚类中心rm(m＝1,...,M)控制。第四步，计算最终的权重公式：其中Γ1,Γ2分别代表图像的平滑区域与细节区域。需要注意的是权重Wk(k＝1,...,K)是为梯度域中残差设计的，而非视频帧。可以看出在边缘区域权重较小，因此具有较小的正则化约束，减小了配准误差对重建的影响，同时保持了重建的细节信息。在平坦区域，权重较大，有效的抑制噪声。所述步骤(4)中，构建多幅非局部低秩(MNLR)正则化项的步骤为：第一步，将视频帧划分成重叠的块，假设将在第k帧中，以像素j为中心，大小为n×n的图像块表示成为pk,j，以j为中心，确定搜索窗；第二步，重复利用步骤(3)中的光流场，来引导在第(k-1)帧与第(k+1)帧中搜索窗的中心点位置。因此，确定了在第k帧中的搜索窗的中心点位置，就可以运用光流场中这一中心点的运动向量，找出相邻帧中对应搜索窗的中心点位置；第三步，计算第(k-1)帧、k帧以及第(k+1)帧中搜索窗内中所有候选块与参考块pk,j之间的l2差分，找出pk,j块的Np个相似块；第四步，将相似块分组，每个构建矩阵Xj,k，这个矩阵的每一列代表一个相似块。根据相似特性，这个矩阵具有低秩特性，但是由于噪声的干扰，这个特性被破坏了；第五步，构建MNLR正则化项，公式如下：其中，Sk,jF表示在(k-1)帧、k帧以及第(k+1)帧中寻k帧中以像素j为中心的参考块的相似块，并且Xj,k＝Sk,jF，Zk,j是一个低秩的近似Sk,jF的矩阵，λ是一个权衡参数。步骤(5)中的代价函数为：其中α,β,λ正则化参数，使用以下函数来代替Rank(Zk,j)：δ是一个很小的常数，I表示单位矩阵，则本文档来自技高网...

【技术保护点】
一种基于联合正则化的视频超分辨率重建方法，主要包含以下操作步骤：步骤一：建立低分辨率观察模型；步骤二：通过基于正则化的最小均方方法，建立一个通用的视频重建的代价函数；步骤三：构建基于运动补偿的TV(CTV)正则化项并赋予区域空间自适应加权系数以减小配准误差的不良影响；步骤四：构建多幅非局部低秩(MNLR)正则化项；步骤五：根据步骤三与步骤四中的正则化项，建立本专利技术基于联合正则化的视频超分辨率重建的代价函数；步骤六：用Split‑Bregman迭代方法求解代价函数,重建出高分辨率视频。

【技术特征摘要】
1.一种基于联合正则化的视频超分辨率重建方法，主要包含以下操作步骤：步骤一：建立低分辨率观察模型；步骤二：通过基于正则化的最小均方方法，建立一个通用的视频重建的代价函数；步骤三：构建基于运动补偿的TV(CTV)正则化项并赋予区域空间自适应加权系数以减小配准误差的不良影响；步骤四：构建多幅非局部低秩(MNLR)正则化项；步骤五：根据步骤三与步骤四中的正则化项，建立本发明基于联合正则化的视频超分辨率重建的代价函数；步骤六：用Split-Bregman迭代方法求解代价函数,重建出高分辨率视频。2.根据权利要求1所述...

【专利技术属性】
技术研发人员：何小海，陈娣，王正勇，陈洪刚，张轶君，熊淑华，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51