一种缩放尺度补偿的非局部性图像超分辨率方法及系统技术方案

本发明专利技术涉及一种缩放尺度补偿的非局部性图像超分辨率方法及系统，属于数字图像超分辨率技术领域。本发明专利技术首先将视频序列中的相邻数帧上插到设定的高分辨率图像；然后计算相邻帧间的尺度差异；最后对于待超分辨率的原始图像中除边缘像素点外的每一个像素点P，根据相邻帧中与像素点P相对应像素点在同一尺度上的相似度，计算得到像素点P超分辨率后的像素值。本发明专利技术所述方法更有效地捕捉到各图像间更多的互补信息，进一步提升了非局部超分辨率重建的性能。

【技术实现步骤摘要】
一种缩放尺度补偿的非局部性图像超分辨率方法及系统
本专利技术属于数字图像超分辨率
，具体涉及一种缩放尺度补偿的非局部性图像超分辨率方法及系统。
技术介绍
超分辨率图像处理技术是利用多帧关于同一场景的有相互位移的低分辨率降质图像来重建高分辨率高质量图像的技术。基于多帧图像的超分辨率重建的目标是把一系列的低分辨率图像融合成一幅高分辨率图像。其有效性基于假设——多个相邻帧的低分辨率图像中包含相互补充的信息。利用这些信息，可以生成一副较高分辨率的图像。这项技术广泛应用在图像增强，监视器等领域中。多帧融合技术的关键在于从邻域内得到的互补信息的精确度与质量。传统的多帧融合算法往往追求更精确的运动估计以提高获取信息的位置精确度。但存在一些不可避免区域的无法进行精确估计（如因遮挡而使得部分区域在某一帧中不存在），这将会大大损害复原图像的质量。为了避免运动估计，Potter等人把非局部方法从一种去噪算法扩展成不需要运动估计的超分辨率方法。该算法通过度量块之间的相似度，加权计算出中心像素的值。Potter等人提出的非局部超分辨率方法仅仅是一个基础框架，可以在这个框架上进行多种多样的扩展或修改以达到提升性能的目的。其中一类提升是自适应的参数选择，即通过研究块的大小以及搜索窗口的大小与非局部方法性能间的关系，自适应地选择这些参数。Zeng等人将图像分成多个区域在不同区域应用不同的参数进行非局部超分辨率以达到比统一参数更好的效果。Cheng等人提出的对搜索窗口和块大小进行自适应的选取。还有学者对非局部超分辨率算法中块匹配进行了修改提高。如Gao等人提出了用ZernikeMoment替代简单的块匹配进而提升匹配块的质量。Zhuo等人则采用了具有旋转不变性的算子来替代朴素块匹配。而Zheng等人则将非局部的思想扩展到频域上进行使用，提出了小波非局部超分辨率算法WaveletNon-LocalMeans（WNLM）。以上的各个方法都或多或少的提升了非局部超分辨率算法的性能。但是他们都使得非局部超分辨率算法对旋转、对称、平移等变换更加鲁棒。迄今为止，仍没有人考虑到基于尺度缩放鲁棒性的改进方法。
技术实现思路
针对现有技术中存在的缺陷，本专利技术所要解决的技术问题是提供一种效果好的缩放尺度补偿的非局部性图像超分辨率方法及系统。为解决上述技术问题，本专利技术采用的技术方案如下：一种缩放尺度补偿的非局部性图像超分辨率方法，包括以下步骤：将视频序列中的相邻数帧上插到设定的高分辨率图像；计算相邻帧间的尺度差异；对于待超分辨率的原始图像中除边缘像素点外的每一个像素点P，根据相邻帧中与像素点P相对应像素点在同一尺度上的相似度，计算得到像素点P超分辨率后的像素值。一种缩放尺度补偿的非局部性图像超分辨率系统，包括用于将视频序列中的相邻数帧上插到设定的高分辨率图像的上插装置；用于计算相邻帧间的尺度差异的第一计算装置；用于对待超分辨率的原始图像中除边缘像素点外的每一个像素点P，根据所述相邻帧中与像素点P相对应像素点在同一尺度上的相似度，计算得到像素点P超分辨率后像素值的第二计算装置。本专利技术所述方法及系统，考虑到现有非局部超分辨率方法中相关帧间因缩放而无法进行简单的信息匹配，在计算相邻帧尺度差异时，采用SIFT算子来提取特征点并加以利用以提取尺度信息，在度量块相似度时，根据尺度信息先对块进行下采上插的插值调整，从而进一步提升了相似度计算的准确性，更有效地捕捉到各图像间更多的互补信息，进一步提升了非局部超分辨率重建的性能。附图说明图1是具体实施方式中缩放尺度补偿的非局部性图像超分辨率系统的结构框图；图2是具体实施方式中缩放尺度补偿的非局部性图像超分辨率方法的流程图；图3是具体实施方式中像素点P超分辨率后像素值计算方法的流程图；图4是具体实施方式中原始块与参考块选择示意图。具体实施方式本专利技术总结出现有非局部超分辨率方法不能找到足够多相似块的其中一个重要原因是由于镜头缩放后图像尺度发生了变化而导致相似信息不能很好地匹配，因此，本专利技术提出了一种计算图像尺度差异的方法及系统，并提出一种新的可以补偿尺度差异的度量方式，最终提升基于多帧融合的超分辨率方法的性能。下面以视频序列中某一帧进行3倍放大的超分辨率重建问题为例，结合附图对本专利技术的具体实施方式进行详细描述。如图1所示，本实施方式中缩放尺度补偿的非局部性图像超分辨率系统包括上插装置11、第一计算装置12和第二计算装置13。其中，第二计算装置13包括原始块确定单元131、参考块确定单元132、下采单元133、相似度计算单元134和像素值计算单元135。上插装置11用于将视频序列中的相邻数帧上插到设定的高分辨率图像。第一计算装置12用于计算相邻帧间的尺度差异。第二计算装置13用于对待超分辨率的原始图像中除边缘像素点外的每一个像素点P，根据所述相邻帧中与像素点P相对应像素点在同一尺度上的相似度，计算得到像素点P超分辨率后的像素值。其中，原始块确定单元131用于在所述高分辨率图像中选择一幅图像A，在图像A中确定与所述像素点P对应的像素点P′为中心的局部块，作为原始块。参考块确定单元132用于在所述图像A中和其相邻帧中的参考区域内选择与所述原始块相对应的参考块。下采单元133用于根据所述尺度差异将所述参考块下采至与所述原始块相同的尺度。相似度计算单元134用于计算所述原始块与所述参考块的相似度。像素值计算单元135用于根据所述相似度，计算所有参考块中心点对于原始块中心点的权重，将所述权重与所述像素点P的像素值进行加权平均，得到像素点P超分辨率后的像素值。如图2所示，采用图1所示系统实现缩放尺度补偿的非局部性图像超分辨率方法包括以下步骤：（1）上插装置11将视频序列中的相邻数帧上插到设定的高分辨率图像。本实施方式中，采用空域插值方法中的双线性插值，将每一帧的两个方向分别上插到原来的三倍大小。所述相邻数帧的取值范围为3~7帧，优选的为3帧、5帧和7帧。本实施方式中，相邻帧为3帧，设原始帧（低分辨率图像）分别为y1、y2和y3，对应的上插后的高分辨率图像分别为Y1、Y2和Y3。（2）第一计算装置12计算高分辨率图像相邻帧间的尺度差异。本实施方式中，分别计算图像Y1和Y2、Y2和Y3的尺度差异。采用如下方法计算：用SIFT（Scale-InvariantFeatureTransform）计算其特征点并进行匹配，根据如下公式计算：其中，NM表示相邻两帧中匹配上的特征像素点的数量，M表示两帧图像匹配上的像素点对集合，sr，sc分别表示相邻两帧中特征像素点的尺度信息，St表示所有匹配上的像素点在相邻两帧中尺度差异的平均值，作为两帧5图像的尺度差异值。SIFT是现有的成熟算法，此处不再展开说明，可参考文献D.G.Lowe，“Distinctiveimagefeaturesfromscale-invariantkeypoints”，InternationalJournalofComputerVision,vol.60,no.2,pp.91-110,2004。（3）第二计算装置13对于待超分辨率的原始图像中除边缘像素点外的每一个像素点P，如图3所示，进行如下操作：所述待超分辨率的原始图像可以是相邻数帧中的任意一帧。本实施方式中，选择y1、y2、本文档来自技高网...

【技术保护点】
一种缩放尺度补偿的非局部性图像超分辨率方法，包括以下步骤：将视频序列中的相邻数帧上插到设定的高分辨率图像；计算相邻帧间的尺度差异；对于待超分辨率的原始图像中除边缘像素点外的每一个像素点P，根据所述相邻帧中与像素点P相对应像素点在同一尺度上的相似度，计算得到像素点P超分辨率后的像素值。

【技术特征摘要】
1.一种缩放尺度补偿的非局部性图像超分辨率方法，包括以下步骤：将视频序列中的相邻数帧上插到设定的高分辨率图像；计算相邻帧间的尺度差异；对于待超分辨率的原始图像中除边缘像素点外的每一个像素点P，根据所述相邻帧中与像素点P相对应像素点在同一尺度上的相似度，计算得到像素点P超分辨率后的像素值。2.如权利要求1所述的非局部性图像超分辨率方法，其特征在于：所述相邻数帧为3帧、5帧或7帧。3.如权利要求1所述的非局部性图像超分辨率方法，其特征在于：所述相邻帧间的尺度差异St采用如下公式计算：其中，NM表示相邻两帧中匹配上的特征像素点的数量，M表示两帧图像匹配上的像素点对集合，Sr、Sc分别表示相邻两帧中特征像素点的尺度信息。4.如权利要求1～3中任一项所述的非局部性图像超分辨率方法，其特征在于：所述像素点P超分辨率后像素值的计算方法如下：在所述高分辨率图像中选择一幅图像A，在图像A中确定与所述像素点P对应的像素点P′为中心的局部块，作为原始块；在所述图像A中和其相邻帧中的参考区域内选择与所述原始块相对应的参考块；根据所述尺度差异将所述参考块下采至与所述原始块相同的尺度，计算所述原始块与所述参考块的相似度；根据所述相似度，计算所有参考块中心点对于原始块中心点的权重；将所述权重与所述像素点P的像素值进行加权平均，得到像素点P超分辨率后的像素值。5.如权利要求4所述的非局部性图像超分辨率方法，其特征在于：所述原始块大小的取值范围在11×11像素点至17×17像素点之间；所述参考区域大小的取值范围在21×21像素点至35×35像素点之间。6.如权利要求4所述的非局部性图像超分辨率方法，其特征在于：在所述图像A中的参考区域内选择与所述原始块相对应参考块的方法如下：在以所述像素点P′为中心的参考区域内，选择每个原始像素点作为每个参考块的中心点，所述参考块的大小与所述原始块的大小相同。7.如权利要求4所述的非局部性图像超分辨率方法，其特征在于：在所述图像A的相邻帧中的参考区域内选择与所述原始块相对应参考块的方法如下：在所述相邻帧中，以与像素点P′相对应的像素点P"为中心的参考区域内，选择每个原始像素点作为每个参考块的中心点，所述参考块大小与所述原始块的大小比例和两块所属相邻帧间的尺度差异比例相同。8.如权利要求4所述的非局部性图像超分辨率方法，其特征在于：所述根据所述尺度差异将所述参考块下采至与所述原始块相同的尺度采用如下公式计算：MP(i,j,t)＝I(st)R(st,i,j)yt,其中，yt表示第t个参考块，R(St，i，j)表示对其进行的以(i，j)为中心...

【专利技术属性】
技术研发人员：李翘楚，刘家瑛，杨撒博雅，郭宗明，
申请(专利权)人：北京大学，北大方正集团有限公司，北京北大方正电子有限公司，
类型：发明
国别省市：北京;11