一种顾及运动估计误差的运动场景超分辨率重建方法技术

本发明专利技术提供了一种顾及运动估计误差的运动场景超分辨率重建方法，包括运动估计及高分影像初始化、超分辨率重建模型构建、计算自适应阀值参数、计算模型参数、计算高分辨率影像、输出高分辨率影像。本发明专利技术首先从正则化超分辨率重建模型出发，研究运动估计误差存在的前提下，引入稳健估计，自适应的减少含有运动估计误差的低分辨率影像在重建过程中的贡献量，从而削弱运动估计误差对重建结果的影响；从稳健估计的角度分析了基于L1范数和L2范数的保真项对于运动估计误差的鲁棒性，提出基于稳健估计的双边滤波超分辨率重建方法，实现了在运动估计误差存在的情况下稳健的超分辨率重建，并实验验证了方法的有效性，因此可实现运动场景中高精度的影像。

A Motion Scene Super-resolution Reconstruction Method Considering Motion Estimation Error

The invention provides a motion scene super-resolution reconstruction method considering motion estimation error, including motion estimation and high resolution image initialization, super-resolution reconstruction model construction, calculation of adaptive threshold parameters, calculation of model parameters, calculation of high resolution image, output of high resolution image. Firstly, starting from the regularized super-resolution reconstruction model, the present invention studies the existence of motion estimation errors, introduces robust estimation, adaptively reduces the contribution of low-resolution images with motion estimation errors in the reconstruction process, thereby weakening the influence of motion estimation errors on the reconstruction results; and from the perspective of robust estimation, the fidelity terms based on L1 norm and L2 norm are analyzed. For the robustness of motion estimation errors, a bilateral filtering super-resolution reconstruction method based on robust estimation is proposed, which realizes robust super-resolution reconstruction in the presence of motion estimation errors. Experiments verify the effectiveness of the method. Therefore, high-precision images in motion scenes can be achieved.

【技术实现步骤摘要】
一种顾及运动估计误差的运动场景超分辨率重建方法
本专利技术涉及运动场景超分辨率重建的
，尤其涉及一种顾及运动估计误差的运动场景超分辨率重建方法。
技术介绍
近年来随着航天航空领域的不断发展，卫星视频数据开始进入人们的视野，视频卫星成为近年来国内外研究的又一热点。视频卫星能够以视频的形式拍摄地球上地物的动态信息，适用于各种动态目标的监测。但目前视频卫星的分辨率不高，一般采用超分辨率重建的方法提高视频质量，对于多帧超分重建运动估计是一个关键问题，运动估计不准会导致重建后的运动物体存在“振铃”或“拖尾”等现象，影响动态目标的分辨率，因此，需要专利技术一种对运动估计误差鲁棒性好的超分辨率重建方法。在运动估计方法精度确定的前提下，在目前的超分重建模型中，提高运动估计误差鲁棒性的主要的解决方案有，①直接改进运动估计方法提高精度(参考：BaboulazL,DragottiPL.Exactfeatureextractionusingfiniterateofinnovationprincipleswithanapplicationtoimagesuper-resolution.IEEETransactionsonImageProcessing,2009,18(2):281-298.)，但该方法复杂度较高；②运动估计与超分重建联合估计法(参考：ShenHF,ZhangLP,HuangB,LiPX.Amapapproachorjointmotionestimation,segmentation,andsuperresolution.IEEETransactionsonImageProcessing,2007,16(2):479-490.)，在重建模型求解迭代过程中同时对运动估计结果进行更新，具有迭代调整的优势，但效率不高；③分块运动估计并重建的方法(参考：SuH,TangL,WuY,TretterD,ZhouJ.Spatiallyadaptiveblock-basedsuper-resolution.IEEETransactionsonImageProcessing,2012,21(3):1031-1045.)，先对高分辨率图像平面进行自适应分块，将运动匹配精度、图像纹理情况等信息作为区块特征，应用机器学习的方法为不同的区域选择不同的传统超分辨率算法，算法较为复杂，运动幅度差异较大地物效果欠佳。在目前的这些超分辨率重建模型中，最大后验估计法(Maximumaposterior，MAP)(SchultzRR,StevensonRL.Extractionofhigh-resolutionframesfromvideosequences[J].ImageProcessing,IEEETransactionson,1996,5(6):996-1011.)能够通过加入先验约束项改善重建的效果，但该方法保真项固定，不能自适应的选择保真项。总结上述方法，目前在含有运动估计误差的前提下，一般的重建方法都存在“振铃”或“拖尾”现象，对运动估计敏感，MAP估计虽然能够加入先验约束改善重建质量，但是不能根据图像内容自适应的选择保真项。因此，迫切需要一个能够在重建模型中进一步处理运动估计残余误差的超分辨率重建算法。
技术实现思路
针对上述技术问题，本专利技术的目的在于提供一种顾及运动估计误差的运动场景超分辨率重建方法，基于稳健估计的双边滤波超分辨率重建方法，实现了在运动估计误差存在的情况下稳健的超分辨率重建。为实现上述目的，本专利技术一种提供了顾及运动估计误差的运动场景超分辨率重建方法，包括如下步骤：S1：在影像序列中选择一帧作为基准帧，运用全局运动估计方法，估计相邻帧间的运动矢量表示x,y方向上的光流失量，式中用得到的相邻帧间的运动矢量计算每一帧相对于基准帧的运动矢量其中i代表基准帧序列；f代表要估计相邻帧的序列；r代表要估计总体运动矢量的序列；用插值的方法把运动场和插值到高分辨率格网上，并且用插值的方法初始化高分辨率影像S2：选择BTV作为正则项，采用M-估计函数作为保真项，构建超分辨率重建模型；S3：计算自适应阈值参数ak，为了减小运动估计残余误差和PSF估计误差的影响，根据每一帧的可靠性来决定自适应阈值参数ak的值，使有较大残余误差的低分辨率影像的ak较小，减小其对高分辨率影像的贡献量；S4：计算模型参数Wk,n，Wk,n是衡量残余误差权的对角矩阵；S5：对步骤S2、S3和S4所得到的数据，求出相应的高分辨率影像，根据最速下降法迭代次数n是否达到次数N，达到就终止；S6：迭代次数n达到相应的次数N输出，否则继续循环；S7：输出高分辨率影像。优选的，步骤S2中的超分辨率重建目标函数，其超分辨率重建目标函数：其中ak是自适应阈值参数，ek,m是残余误差，λ、均是权重参数，X是高分辨率影像，M是影像像素的个数，2*P+1是一维双边滤波器核的大小，P为滤波器核尺寸，分别代表水平方向平移l个像素，垂直方向平移h个像素。进一步的，所述步骤S3中的ak的求解公式其中t>0，控制二次函数的衰减，代表了每帧模拟低分辨率影像和观测低分辨率影像间的平均残余误差，D代表的是下采样矩阵，BK代表的是模糊矩阵，MK代表的是变形矩阵，是初始的高分辨率影像，Yk代表低分辨率影像；M代表的是影像像素的个数，t、r分别由公式和得出，其中amin取0.1,amax取所有低分辨率影像中最大平均残差，即amax＝Emax，Emin是最小残余误差。进一步的，所述步骤S6中迭代次数n达到相应的次数N输出包括：判断n＜N，是，则返回步骤S3，否，则进入步骤S7；由上，本专利技术的顾及运动估计误差的运动场景超分辨率重建方法首先从正则化超分辨率重建模型出发，研究运动估计误差存在的前提下，引入稳健估计，自适应的减少含有运动估计误差的低分辨率影像在重建过程中的贡献量，从而削弱运动估计误差对重建结果的影响；从稳健估计的角度分析了基于L1范数和L2范数的保真项对于运动估计误差的鲁棒性，提出了基于稳健估计的双边滤波超分辨率重建方法，实现了在运动估计误差存在的情况下稳健的超分辨率重建，并实验验证了方法的有效性。本专利技术方法的处理过程没有近似，并且主要操作在运动目标场景的超分重建中进行，因此可实现运动场景中高精度的影像。附图说明图1是本专利技术的顾及运动估计误差的运动场景超分辨率重建方法的流程图；图2是不同正则项重建结果比较图；图3是SkyBox卫星视频的重建结果对比图；图4是吉林一号数据的重建结果对比图。具体实施方式下面参见图1～图4对本专利技术所述顾及运动估计误差的运动场景超分辨率重建方法进行详细说明。如图1所示，为了对影像进行超分辨率重建，本专利技术顾及运动估计误差的运动场景超分辨率重建方法，包括步骤如下：步骤S1：在影像序列中选择一帧作为基准帧，运用全局运动估计方法，来估计相邻帧间的运动矢量表示x,y方向上的光流失量，式中用得到的相邻帧间的运动矢量计算每一帧相对于基准帧的运动矢量其中i代表基准帧序列；f代表要估计帧的序列(估计相邻帧时)，都是相对于第一帧的运动矢量；r代表要估计帧的序列(估计总体运动矢量)，就是相邻帧的三者相加；用插值的方法把运动场和插值到高分辨率格网上，并且用插值的方法初始化高分辨率影像步本文档来自技高网...

【技术保护点】
1.一种顾及运动估计误差的运动场景超分辨率重建方法，其特征在于，包括如下步骤：S1：在影像序列中选择一帧作为基准帧，运用全局运动估计方法，估计相邻帧间的运动矢量

【技术特征摘要】
1.一种顾及运动估计误差的运动场景超分辨率重建方法，其特征在于，包括如下步骤：S1：在影像序列中选择一帧作为基准帧，运用全局运动估计方法，估计相邻帧间的运动矢量表示x,y方向上的光流失量，式中用得到的相邻帧间的运动矢量计算每一帧相对于基准帧的运动矢量其中i代表基准帧序列；f代表要估计相邻帧的序列；r代表要估计总体运动矢量的序列；用插值的方法把运动场和插值到高分辨率格网上，并且用插值的方法初始化高分辨率影像S2：选择BTV作为正则项，采用M-估计函数作为保真项，构建超分辨率重建模型；S3：计算自适应阈值参数ak；S4：计算模型参数Wk,n，Wk,n是衡量残余误差权的对角矩阵；S5：对步骤S2、S3和S4所得到的数据，求出相应的高分辨率影像，根据最速下降法迭代次数n是否达到次数N，达到就终止；S6：迭代次数n达到相应的次数N输出，否则继续循环；S7：输出高分辨率影像。2.根据权利要求1所述的顾及运动估计误差的运动场景超分辨率重建方法，其特征在于，所述步骤S2中的超分辨率重...

【专利技术属性】
技术研发人员：卜丽静，张正鹏，郑新杰，姜昀呈，
申请(专利权)人：辽宁工程技术大学，
类型：发明
国别省市：辽宁,21