基于变分正则化的大气扰动图像恢复方法，涉及图像处理。获取对固定目标的受到大气干扰的视频帧或者用模拟软件对一张图片附加模拟扰动以生成一组视频帧；对视频帧进行低秩分解，得到初始参考图像；使用基于非局部全变差正则项与可控核回归正则项的优化模型对参考图像进行优化，并用分离的Bregman算法实现加快该优化过程；用优化后的参考图像对视频帧进行B样条插值配准，得到经过配准后的视频帧；使用空间加权核范数最小化，将配准后的视频帧融合成一张近衍射极限图片；对近衍射极限图片进行去卷积处理，得到最后的去除了模糊和噪声的图片。提升扰动去除结果，得到了视觉清晰以及细节丰富的恢复图像，可用于高空对地观测、远距离监控等。
【技术实现步骤摘要】
本专利技术设及图像处理，尤其是设及可用于高空对地观测、远距离监控的一种基于 变分正则化的大气扰动图像恢复方法。
技术介绍
随着社会的发展和科技的进步，越来越多的对地监控设备得到使用。例如无人机、 高空对地观测和远距离监控等技术得到广泛关注。与普通的拍摄行为不同的是，因为在远 距离拍摄中，拍摄目标与拍摄设备之间的距离较远，拍摄效果极容易受到大气扰动的影响， 严重影响拍摄效果。而该种扰动无法通过对硬件设备的提升来去除，为此如何从软件技术 层面，运用一些算法将由于大气扰动引起的视频模糊去除就十分重要了。 大气扰动造成的图像崎变主要原因是空气扰动造成时空变化的模糊及噪声的影 响。因此如何去掉时空变化的模糊及去噪，成为解决受大气扰动造成的图像崎变恢复的关 键。现有的解决图像崎变的流行工作可分为两大类，一类是基于参考图像配准的方法，先找 到参考图像，然后将视频中的帖与参考图像配准，该类方法并不对模糊核进行估计，而是使 用固定的高斯核来逼近模糊核，因此，该方法很难得到较高的图像恢复质量。另外一类方法 是基于幸运图的图像恢复方法，该类方法认为，小尺寸的图像块可W看作是3D场景在某一 等平面角度形成的，所W，小尺寸的图像块可W看作是等平面的。因此，该类方法首先把图 像划分成图像块序列，先在视频流中找到比较锐化的图像块，W此作为衍射极限图像块。然 而，实验发现，该类方法虽然压缩了大气扰动的影响，然而却增加了噪声的影响。Zhu等人（ZhuX,MilanfarP.Removingatmosphericturbulence viaspace-invariantdeconvolution.PatternAnalysisandMachine Intelligence,I邸ETransactionson, 2013, 35 (1) : 157-170.)提出了一种基于整体而非 局部图像块的处理大气扰动造成的影响的方法，作者把视频序列的时间平均作为参考图 像，然后将视频中的每帖与参考图像进行配准、矫正，通过时间轴的融合得到衍射极限图 像。实验发现该方法在大气扰动造成的图像崎变矫正方面取得了颇有希望的结果。然而， 该方法将参考图像取为视频序列的时间平均，造成参考图像的细节损失，图像序列的配准 精度受到限制，从而使得矫正精度不高。另外，衍射极限图像的生成也受限于融合时采用的 时间轴平均的影响，该步骤本质上采用了时间轴去噪的方法。众所周知，基于时间轴的平均 该一大类去噪方法，去噪性能不高。从公式化的角度来看，Zhu的方法没有从整体优化的角 度来建模大气扰动造成的崎变，理论方面可W继续完善。
技术实现思路
本专利技术的目的在于提供可去除视频图像中因为大气扰动而产生的图像崎变的基 于变分正则化的大气扰动图像恢复方法。 本专利技术包括W下步骤： (1)有一组在空中拍摄固定目标的视频帖序列化}，它们受到了大气扰动的影响 而产生了模糊和崎变； (2)对视频帖序列{fj进行低秩分解，得到初始参考图像I。； (3)初始化外层迭代，令外层循环变量0ut_loop= 1，将I。作为当前要优化的参 考图像U，设置最大外层循环次数max_out; (4)初始化Bregman距离化regmandistance)迭代，令中层循环变量Middle_loop 二1，将初始帧序列{fJ作为当前帧{式}，设置最大中层循环次数max_middle; (5)对于当前帖序列{巧中的每一帖7；，利用B-spline配准方法计算参考图像到 的形变矩阵巫 (6)初始化向前-向后算子分离（forward-backwardoperatorsplitting)迭代， 令Inter_loop二1，设置最大内层循环次数max_inter;[001引 （7)利用和U进行向前步骤，得到迭代过程变量V; 做用非局部全变差（Non-localtotalvariation)和可控核回归全变差 (Steeringkernelregressiontotalvariation)为正则项得到最优化式子，然后使用分 离的化egman迭代算法求解最优化式子得到新的U; (9)将Inter_loop〉max_inte;r作为循环终止条件，若Inter_loop不满足大于 max_inter的条件，贝ij在将Inter_loop的值增加1后返回步骤（7)，否则直接执行步骤 (10);[001引 （10)利用{0J、u和初始帖序列化}进行当前帖序列(式}的更新； (11)将Middle_loop〉max_middle作为循环终止条件，若Middle_loop不满足大 于max_middle的条件，贝ij在将Middle_loop值增加1后返回步骤巧），否则直接执行步骤(12)；[001引 （12)将优化后的参考图像I;作为当前参考图像U，即<, = ；；; (13)利用当前参考图像11，对当前视频帖[^}进行8-3口11116近似配准，去掉几何 形变，得到配准后的视频帖序列化J; (14)对配准后的视频帖序列化J进行低秩分解，得到结果作为新的参考图像U; (15)将0ut_loop〉max_out作为循环终止条件，若0ut_loop不满足大于max_out 的条件，则在将〇ut_loop的值增加1后返回步骤（4)，否则直接执行步骤（16);[002引 （16)使用空间加权核范数最小化（Spacewei曲tednuclearnorm minimization)将配准W后的视频帖序列化J融合成一张近衍射极限图片Ifusi。。；[002引 （17)将融合图片Ifud。进行去卷积处理，得到最后的去除大气扰动后的图片1?。。1。在步骤（7)中，所述向前步骤的公式如下： 式中，5是参数，一般情况下设置其值为1。 在步骤做中，所述最优化式子如下： 式中，Aw和As为参数，IcUI表示非局部全变差正则化项，IdsI表示可控核回归 全变差正则化项，表达公式如下：山二（I-QN)u |ds二（I-Q )u|[003引其中，式中，cf是由非局部权重WN(i，如串联得到的，S康示与Ui相似的图像块的位置 集合，L康示与U湘邻的图像块的位置集合，曰1= T，Ws表示可控核回归权重，Ww表不非局部权重，其表达式如下： 式中，表示从U中取出Wui为中屯、的图像块，Ci是Ui处水平W及竖直方向梯 度的下方差矩阵，hw，hs是参数。 在步骤巧）中，所述使用分离的化egman迭代算法求解最优化式子的迭代过程如 下： 在步骤（10)中，所述更新的公式如下：[005引在步骤（16)中，所述使用空间加权核范数最小化的具体步骤如下：[005引 （16. 1)将每张帖图片分割成许多大小相等的图像块，用H。表示第i个帖中W第j 个像素为中屯、的图像块，初始化像素位置j; (16.。认为对于每个图像块H。，在其他所有帖Hk上，同样中屯、在第j个像素的图 像块Hkj.都是H。的相似块；将图像块H。的所有行一次连接成一个向量Z U，然后再将Zy与 它的所有相似块组合成一个矩阵与=出U，&,?，...，Hnj];(16. 3)对Zj.进行奇异值分解得到Fj.= U2VT，再使用加权核范数最优化进行去噪， 得到马=城W间户，其中S"(Z) =m本文档来自技高网...
【技术保护点】
基于变分正则化的大气扰动图像恢复方法，其特征在于包括以下步骤：(1)有一组在空中拍摄固定目标的视频帧序列{fi}，它们受到了大气扰动的影响而产生了模糊和畸变；(2)对视频帧序列{fi}进行低秩分解，得到初始参考图像I0；(3)初始化外层迭代，令外层循环变量Out_loop＝1，将I0作为当前要优化的参考图像u，设置最大外层循环次数max_out；(4)初始化Bregman距离迭代，令中层循环变量Middle_loop＝1，将初始帧序列{fi}作为当前帧设置最大中层循环次数max_middle；(5)对于当前帧序列中的每一帧利用B‑spline配准方法计算参考图像到的形变矩阵Φi；(6)初始化向前‑向后算子分离迭代，令Inter_loop＝1，设置最大内层循环次数max_inter；(7)利用{Φi}、和u进行向前步骤，得到迭代过程变量v；(8)用非局部全变差和可控核回归全变差为正则项得到最优化式子，然后使用分离的Bregman迭代算法求解最优化式子得到新的u；(9)将Inter_loop>max_inter作为循环终止条件，若Inter_loop不满足大于max_inter的条件，则在将Inter_loop的值增加1后返回步骤(7)，否则直接执行步骤(10)；(10)利用{Φi}、u和初始帧序列{fi}进行当前帧序列的更新；(11)将Middle_loop>max_middle作为循环终止条件，若Middle_loop不满足大于max_middle的条件，则在将Middle_loop值增加1后返回步骤(5)，否则直接执行步骤(12)；(12)将优化后的参考图像作为当前参考图像u，即(13)利用当前参考图像u，对当前视频帧进行B‑spline近似配准，去掉几何形变，得到配准后的视频帧序列{Hi}；(14)对配准后的视频帧序列{Hi}进行低秩分解，得到结果作为新的参考图像u；(15)将Out_loop>max_out作为循环终止条件，若Out_loop不满足大于max_out的条件，则在将Out_loop的值增加1后返回步骤(4)，否则直接执行步骤(16)；(16)使用空间加权核范数最小化将配准以后的视频帧序列{Hi}融合成一张近衍射极限图片Ifusion；(17)将融合图片Ifusion进行去卷积处理，得到最后的去除大气扰动后的图片Ifinal。...
【技术特征摘要】
【专利技术属性】
技术研发人员：曲延云，吴伟伟，谢源，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建;35
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。