基于远近景切换的自适应电子稳像方法技术

基于远近景切换的自适应电子稳像方法，本发明专利技术涉及基于远近景切换的自适应电子稳像方法。它为了解决目前的稳像方法对于帧间复杂运动模式、大旋转和大平移运动以及存在大尺度和大范围前景运动视频的稳像效果差且实时性低的问题。基于远近景切换的自适应电子稳像方法为：获取摄像设备在当前时刻的焦距值f，若当前焦距值f大于预设的远景焦距阈值f1，则进入远景处理模式，进入远景稳像模式，对拍摄的视频做处理；若当前焦距值f小于预设的近景焦距阈值f2，则进入近景处理模式，进入近景稳像模式，对拍摄的视频做处理，否则，进入中景稳像模式，对拍摄的视频做处理。本发明专利技术可应用于远程遥控、自主导航、监控、成像、遥感、视频侦察、导弹成像制导和观瞄系统等。

【技术实现步骤摘要】

本专利技术涉及一种电子稳像方法，特别涉及一种。
技术介绍
对于手持或安装在运动载体上的摄像机，摄像机在成像过程中由于手的抖动、载体运动以及外界干扰都会造成图像抖动而导致成像质量下降，使得观察者出现视觉疲劳。对于如移动智能监控和导弹制导等应用场合还会造成无法完成对目标的检测和跟踪。因此，研究图像稳定技术无论对于民用和军用、自动和非自动成像系统都具有重要意义。电子稳像技术(又称数字稳像技术)由于采用数字图像处理技术通过确定图像序列的帧间变换关系进而完成图像抖动抑制工作，无需复杂昂贵机械和光学系统，相对于传统的机械稳像和光学稳像技术，具有体积小、成本低、结构简单、操作灵活、功耗低、可靠性高并且使用范围广特点。可用于基于视频的远程遥控系统、无人车辆自主导航系统、移动智能监控系统、智能手机成像系统、光学卫星遥感系统、视频侦察系统、导弹成像制导系统以及车载控的观瞄系统等。并且随着计算机处理速度的提高及大规模集成电路的发展，低价高清摄像头的普及，电子稳像在各行各业的应用也越来越广泛，有着巨大的市场需求。现阶段出现了多种电子稳像方法，从处理方式上可分为以下两类:基于灰度区域处理的电子稳像技术和基于特征点提取与匹配的电子稳像技术，其中，基于灰度区域处理的电子稳像技术包括:基于灰度块匹配的稳像技术、基于位平面匹配的稳像技术、基于灰度投影的稳像技术、基于相位相关的稳像技术等。基于灰度块匹配的稳像技术因其算法实现简单、易于硬件实现的特点在稳像技术中最常使用，但是存在估计精度和计算复杂度矛盾。即块匹配方法的稳像精度取决于块的大小、搜索策略和匹配准则，而这些因素又影响算法的计算量，直接后果是影响算法的实时性。虽然近些年公开了不少改进块匹配的匹配精度的算法，但是这些方法没有从根本上解决算法精度和实时性的矛盾。现阶段基于灰度块匹配的稳像技术有着自身难以克服的局限:首先，以上灰度块匹配的算法只能估计与补偿帧间的随机平移抖动，对帧间的随机旋转抖动却达不到很好的稳定效果。而在实际情况下，随机旋转抖动是手持成像装置抖动的重要产生因素，但利用现有的灰度处理算法无法达到补偿随机旋转抖动的目的。其次，以上公布的灰度块匹配算法对视频中所摄前景物体有特殊的要求。而实际情况下，视频中会常包含有较多或者较大的前景运动物体，而块的选择有可能位于运动着的前景物体上，最终会因运动估计错误导致稳像失败。如果视频图像中央存在一个较大的运动物体块，利用块匹配得到的运动估计不仅包含有摄像机运动，还有前景物体块的运动，最终将导致帧间随机运动估计错误，稳像失败。而基于位平面匹配、灰度投影和相位相关的电子稳像技术，虽然有较高的算法效率，但是仍然存在仅可估计平移运动，而对旋转运动却无法估计的问题。同时，位平面匹配算法稳像精度受限于位平面的选取以及图像的灰度分布；灰度投影稳像技术仅适用于图像灰度信息丰富的场景，而对灰度信息相对单一的场合则无法完成满意的稳像效果；相位相关稳像技术，虽然对于大的平移运动场合也能取得较好的性能，但是对多运动目标的场景将出现多个相关峰值的问题，影响稳像效果。对于基于特征点匹配稳像技术较灰度块匹配的方案有更强的适应性，可以针对复杂的图像抖动运动形式进行运动估计和运动补偿。但是，该类稳像技术的稳像精度依赖于特征点的提取和匹配精度，而对特征不明显或是特征过于集中于局部区域时将出现特征误匹配率高的问题，稳像效果较差。同时，该类算法普遍计算复杂度较高，尤其对于复杂背景环境和各种运动有较强适用性的特征匹配算法(如SIFT算法)更是难于实时实现。另外，目前稳像研究存在的一个问题是没有根据成像距离不同来选择图像帧间运动模型，一般都是假设帧间图像运动满足相似和仿射变换关系，从而导致近距离成像过程中估计的运动参数存在较大误差，导致稳像效果不佳。虽然目前有些学者提出根据输入视频运动形式判定来确定图像帧间运动模型(如正交变换模型、仿射变换模型和透视投影变换模型等)，事实上对于是图像帧间运动满足何种模型，主要是由摄像机与被摄物的距离以及成像面和被摄物体所处平面的角度决定的，而不是摄像机的运动形式。另外，对于远距离物体成像，尽管摄像机进行了平移，水平扫动，垂直扫动，旋转，镜头缩放等运动，但是这时的透视效果不明显，直接使用透视投影变换模型，可能导致模型求解出现病态，无法获得准确的模型参数。而且复杂运动形式的判定会导致的运算量大大增加，严重影响稳像算法的实时性。同时，现有的稳像技术在对于实时或后期的视频进行稳像处理时，采用的大多方法是以视频首帧为后续帧运动补偿的参考帧，但是这样会使得帧间运动估计误差不断积累，导致后续补偿误差越来越大，甚至导致稳像的失败。虽然某些稳像技术进行了此方面的弥补，但是存在的问题是:改变参考帧后，新参考帧的前后帧图像会出现较大的‘跳跃’，反而增加了视频的抖动。所以目前的稳像方法存在对于帧间复杂运动模式、大旋转和大平移运动以及存在大尺度和大范围前景运动视频的稳像效果差且实时性低的问题。
技术实现思路
本专利技术的目的是为了解决目前的稳像方法对于帧间复杂运动模式、大旋转和大平移运动以及存在大尺度和大范围前景运动视频的稳像效果差且实时性低的问题，本专利技术提供一种。本专利技术的，它包括如下步骤:步骤一:获取摄像设备在当前时刻的焦距值f，若当前焦距值f大于预设的远景焦距阈值，则进入远景处理模式，转入步骤二 ；若当前焦距值f小于预设的近景焦距阈值f2，则进入近景处理模式，进入步骤三，否则，进入中景处理模式，转入步骤四；步骤二:进入远景稳像模式，对拍摄的视频做如下处理:步骤二一:提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；步骤二二:对步骤二一提取到的一组处理单位的每帧图像进行极坐标变换，获得极坐标系下的K帧图像；步骤二三:对步骤二二获得的极坐标系下的每帧图像，利用所述帧与相邻帧的灰度投影向量求得巾贞间旋转运动参数估计，相邻巾贞为所述巾贞的前一巾贞，巾贞间表示所述巾贞与前一帧之间；步骤二四:对步骤二三得到的帧间旋转运动参数估计进行检测并校正错误估计，得到每巾贞的巾贞间旋转运动参数；步骤二五:利用均值滤波对步骤二四得到的每帧的帧间旋转运动参数进行处理，得到帧间有意旋转运动参数和帧间随机旋转运动参数；步骤二六:将步骤二五所得的帧间随机旋转运动参数进行累加，求取每帧图像相对于该组第一帧的累积随机旋转运动参数，并对该帧图像的累积随机旋转运动进行补偿；步骤二七:对步骤二六补偿后的每帧图像构建位平面金字塔；步骤二八:自适应确定进行帧间平移运动参数估计时的取块模式；步骤二九:对步骤二七构建的位平面金字塔利用步骤二八确定的取块模式进行由顶至底快速帧间块匹配，得到帧间平移运动参数估计；步骤二十:对步骤二九得到的帧间平移运动参数估计进行检测并校正错误估计，得到每帧的帧间平移运动参数；步骤二十一:利用均值滤波方式对步骤二十得到的帧间平移运动参数进行处理，得到帧间有意平移运动参数和帧间随机平移运动参数；步骤二十二:将步骤二十一所得的帧间随机平移运动参数进行累加，求取每帧图像相对于该组第一帧的累积随机平移运动参数，并对该帧图像的累积随机平移运动进行补偿；步骤二十三:输出步骤二十二补偿后的每帧图像，进行下一组处理，转入步骤一；步骤本文档来自技高网...

【技术保护点】
基于远近景切换的自适应电子稳像方法，其特征在于，它包括如下步骤：步骤一：获取摄像设备在当前时刻的焦距值f，若当前焦距值f大于预设的远景焦距阈值f1，则进入远景处理模式，转入步骤二；若当前焦距值f小于预设的近景焦距阈值f2，则进入近景处理模式，进入步骤三，否则，进入中景处理模式，转入步骤四；步骤二：进入远景稳像模式，对拍摄的视频做如下处理：步骤二一：提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；步骤二二：对步骤二一提取到的一组处理单位的每帧图像进行极坐标变换，获得极坐标系下的K帧图像；步骤二三：对步骤二二获得的极坐标系下的每帧图像，利用所述帧与相邻帧的灰度投影向量求得帧间旋转运动参数估计，相邻帧为所述帧的前一帧，帧间表示所述帧与前一帧之间；步骤二四：对步骤二三得到的帧间旋转运动参数估计进行检测并校正错误估计，得到每帧的帧间旋转运动参数；步骤二五：利用均值滤波对步骤二四得到的每帧的帧间旋转运动参数进行处理，得到帧间有意旋转运动参数和帧间随机旋转运动参数；步骤二六：将步骤二五所得的帧间随机旋转运动参数进行累加，求取每帧图像相对于该组第一帧的累积随机旋转运动参数，并对该帧图像的累积随机旋转运动进行补偿；步骤二七：对步骤二六补偿后的每帧图像构建位平面金字塔；步骤二八：自适应确定进行帧间平移运动参数估计时的取块模式；步骤二九：对步骤二七构建的位平面金字塔利用步骤二八确定的取块模式进行由顶至底快速帧间块匹配，得到帧间平移运动参数估计；步骤二十：对步骤二九得到的帧间平移运动参数估计进行检测并校正错误估计，得到每帧的帧间平移运动参数；步骤二十一：利用均值滤波方式对步骤二十得到的帧间平移运动参数进行处理，得到帧间有意平移运动参数和帧间随机平移运动参数；步骤二十二：将步骤二十一所得的帧间随机平移运动参数进行累加，求取每帧图像相对于该组第一帧的累积随机平移运动参数，并对该帧图像的累积随机平移运动进行补偿；步骤二十三：输出步骤二十二补偿后的每帧图像，进行下一组处理，转入步骤一；步骤三：进入近景稳像模式，对拍摄的视频做如下处理：步骤三一：提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；步骤三二：对所述一组处理单位的每帧图像进行预处理，提取每帧图像的SURF角点；步骤三三：利用邻域灰度相关，对步骤三二提取SURF角点后的每帧图像的SURF角点进行帧间角点粗匹配，获得每帧图像的帧间SURF角点匹配对；步骤三四：利用随机抽样一致性原则，去除步骤三三获得每帧图像的帧间SURF角点匹配对中的误匹配对；步骤三五：利用步骤三四中去除误匹配对后的匹配对，求取每帧图像的帧间原始射影变换矩阵；步骤三六：对步骤三五得到的每帧图像的帧间原始射影变换矩阵提取每帧图像的帧间有意射影变换矩阵，并利用帧间有意射影变换矩阵对每帧图像进行随机运动补偿；步骤三七：输出步骤三六补偿后的每帧图像，转入步骤一；步骤四：进入中景稳像模式，对拍摄的视频做如下处理：步骤四一：提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；步骤四二：对所述一组处理单位的每帧图像进行预处理，提取每帧图像的Harris角点；步骤四三：利用邻域灰度相关，对步骤四二提取Harris角点后的每帧图像的Harris角点进行帧间角点粗匹配，获得每帧图像的帧间Harris角点匹配对；步骤四四：利用随机抽样一致性原则，去除步骤四三获得每帧图像的帧间Harris角点匹配对中的误匹配对；步骤四五：利用步骤四四中去除误匹配对后的匹配对，求取每帧图像的帧间原始仿射变换矩阵；步骤四六：对步骤四五得到的每帧图像的帧间原始仿射变换矩阵提取每帧图像的帧间有意仿射变换矩阵，并利用帧间有意仿射变换矩阵对每帧图像进行随机运动补偿；步骤四七：输出步骤四六补偿后的每帧图像，转入步骤一。...

【技术特征摘要】
1.基于远近景切换的自适应电子稳像方法，其特征在于，它包括如下步骤: 步骤一:获取摄像设备在当前时刻的焦距值f，若当前焦距值f大于预设的远景焦距阈值，则进入远景处理模式，转入步骤二 ；若当前焦距值f 小于预设的近景焦距阈值f2，则进入近景处理模式，进入步骤三，否则，进入中景处理模式，转入步骤四； 步骤二:进入远景稳像模式，对拍摄的视频做如下处理: 步骤二一:提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定； 步骤二二:对步骤二一提取到的一组处理单位的每帧图像进行极坐标变换，获得极坐标系下的K帧图像； 步骤二三:对步骤二二获得的极坐标系下的每帧图像，利用所述帧与相邻帧的灰度投影向量求得巾贞间旋转运动参数估计，相邻巾贞为所述巾贞的前一巾贞，巾贞间表示所述巾贞与前一中贞之间； 步骤二四:对步骤二三得到的帧间旋转运动参数估计进行检测并校正错误估计，得到每中贞的巾贞间旋转运动参数； 步骤二五:利用均值滤波对步骤二四得到的每帧的帧间旋转运动参数进行处理，得到帧间有意旋转运动参数和帧间随机旋转运动参数； 步骤二六:将步骤二五所得的帧间随机旋转运动参数进行累加，求取每帧图像相对于该组第一帧的累积随机旋转运动参数，并对该帧图像的累积随机旋转运动进行补偿； 步骤二七:对步骤二六补偿后的每帧图像构建位平面金字塔； 步骤二八:自适应确定进行`帧间平移运动参数估计时的取块模式； 步骤二九:对步骤二七构建的位平面金字塔利用步骤二八确定的取块模式进行由顶至底快速帧间块匹配，得到帧间平移运动参数估计； 步骤二十:对步骤二九得到的帧间平移运动参数估计进行检测并校正错误估计，得到每帧的帧间平移运动参数； 步骤二十一:利用均值滤波方式对步骤二十得到的帧间平移运动参数进行处理，得到帧间有意平移运动参数和帧间随机平移运动参数； 步骤二十二:将步骤二十一所得的帧间随机平移运动参数进行累加，求取每帧图像相对于该组第一帧的累积随机平移运动参数，并对该帧图像的累积随机平移运动进行补偿；步骤二十三:输出步骤二十二补偿后的每帧图像，进行下一组处理，转入步骤一；步骤三:进入近景稳像模式，对拍摄的视频做如下处理: 步骤三一:提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定； 步骤三二:对所述一组处理单位的每帧图像进行预处理，提取每帧图像的SURF角点；步骤三三:利用邻域灰度相关，对步骤三二提取SURF角点后的每帧图像的SURF角点进行帧间角点粗匹配，获得每帧图像的帧间SURF角点匹配对； 步骤三四:利用随机抽样一致性原则，去除步骤三三获得每帧图像的帧间SURF角点匹配对中的误匹配对； 步骤三五:利用步骤三四中去除误匹配对后的匹配对，求取每帧图像的帧间原始射影变换矩阵；步骤三六:对步骤三五得到的每帧图像的帧间原始射影变换矩阵提取每帧图像的帧间有意射影变换矩阵，并利用帧间有意射影变换矩阵对每帧图像进行随机运动补偿； 步骤三七:输出步骤三六补偿后的每帧图像，转入步骤一； 步骤四:进入中景稳像模式，对拍摄的视频做如下处理: 步骤四一:提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定； 步骤四二:对所述一组处理单位的每帧图像进行预处理，提取每帧图像的Harris角占.步骤四三:利用邻域灰度相关，对步骤四二提取Harri s角点后的每巾贞图像的Harri s角点进行帧间角点粗匹配，获得每帧图像的帧间Harris角点匹配对； 步骤四四:利用随机抽样一致性原则，去除步骤四三获得每帧图像的帧间Harris角点匹配对中的误匹配对； 步骤四五:利用步骤四四中去除误匹配对后的匹配对，求取每帧图像的帧间原始仿射变换矩阵； 步骤四六:对步骤四五得到的每帧图像的帧间原始仿射变换矩阵提取每帧图像的帧间有意仿射变换矩阵，并利用帧间有意仿射变换矩阵对每帧图像进行随机运动补偿； 步骤四七:输出步骤四六补偿后的每帧图像，转入步骤一。2.根据权利要求1所述的基于远近景切换的自适应电子稳像方法，其特征在于，所述步骤二一、步骤三一和步骤四一中，K的大小由系统自适应决定的方法获得，具体过程为: 在稳像过程中: 若该组处理单位为第一组处理单位时，K的值为8 ； 若该组处理单位不是第一组时，根据处理前一组处理单位时估计出的最大帧间平移运动参数，选择所述K值: 若该组处理单位的前一组处理单位的最大帧间平移运动参数超过预设的阈值Mtl时，则K选择为7或8或9 ;若前一组的最大帧间平移运动参数小于此所述阈值M0时，则K选择为10 或 11 或 12。3.根据权利要求1所述的基于远近景切换的自适应电子稳像方法，其特征在于，所述步骤二二中，对步骤二一提取到的一组处理单位的每帧图像进行极坐标变换，获得极坐标系下的K帧图像的方法为: 以每帧图像的中心为极坐标变换中心，最大极径为该帧图像中心到四边的距离的最小值；极角取样间隔为0.5° ； 对于极坐标变换过程中取样处未定义像素的位置采用线性插值的方法进行处理。4.根据权利要求1所述的基于远近景切换的自适应电子稳像方法，其特征在于，所述步骤二三中，对步骤二二获得的极坐标系下的每帧图像，利用所述帧与相邻帧的灰度投影向量得到巾贞间旋转运动参数估计的方法包括如下步骤: 步骤二三A:分别取极坐标系下的每帧和与其对应的相邻帧的极角轴灰度投影向量，对所述投影向量分别进行归一化处理； 步骤二三B:将每个所述帧的灰度投影向量分成20段等长度的子向量； 步骤二三C:分别取每帧灰度投影向量的每一子向量，在对应相邻帧的投影向量的对应位置附近进行移动，记录灰度相关系数最大时的移动量，则该移动量为该帧与相邻帧的旋转运动参数的一个估计；则每帧图像的等长度的灰度投影子向量则获...

【专利技术属性】
技术研发人员：遆晓光，靳万鑫，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：