基于自适应运动滤波的高分辨航拍视频稳相方法技术

本发明专利技术公开了一种基于自适应运动滤波的高分辨航拍视频稳相方法，该方法首先提出一种基于优化梯度滤波的Hession检测器，以实现特征点的精确定位，同时，为了保证在不同摄像机焦距下获得相同的特征点，保留三个分辨率下具有恒定不变的特征点；然后利用最小生成树方法对待配准点进行初始匹配；一致特征点建立后，通过利用非线性最小二乘(NLLS)和随机采样一致性(RANSAC)算法选取具有全局最小误差的变换参数对视频帧间实现配准。实验结果表明，本发明专利技术通过利用优化梯度滤波和全局最优模型估计可实现帧间的精确配准，对不同动态场景和光照变换具有较强的适应性。

【技术实现步骤摘要】

： 本专利技术设及一种，用于航拍全景 图像拼接W及航拍运动目标的检测和跟踪。
技术介绍
： 在航空视频监控领域，对航拍视频进行分析与处理已经成为计算机视觉、人工智 能和模式识别的研究热点和前沿。近些年随着数字相机性能的不断提高，使得获取的航拍 图像分辨率逐渐增大，图像中包含的细节更加丰富。特别是在城市区域，因为天底角（0DA) 的变化，采集的图像间存在投影差、3D建筑物的不同侧面W及局部几何形变等，加大了图像 稳像的难度，使得众多传统的图像稳像方法失效。因此如果没有针对性的设计，大尺寸的航 拍图像则无法正确地进行稳像。图像稳相作为该些年来图像研究方面的重点之一，国内外 研究人员也提出了很多稳相算法。根据图像匹配方法的不同，一般可W将图像稳像方法分 为W下两个类型： (1)基于区域相关的稳相方法 该是最为传统和普遍的算法。基于区域的稳相方法是从输入图像的灰度值出发， 对输入图像中的一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学 方法计算其灰度值的差异，对此差异比较后来判断输入图像重叠区域与参考图像区域的相 似程度，由此得到待稳相图像重叠区域的范围和位置，从而实现图像稳相。也可W通过FFT 变换将图像由时域变换到频域，然后再进行稳相。 当W两块区域象素点灰度值的差别作为判别标准时，最简单的一种方法是直接把 各点灰度的差值累计起来。该种方法效果不是很好，常常由于亮度、对比度的变化及其它原 因导致稳相失败。另一种方法是计算两块区域的对应象素点灰度值的相关系数，相关系数 越大，则两块图像的匹配程度越高。该方法的稳相效果有所提高，但是当图像存在缩放和旋 转时往往会由于匹配区域的旋转和缩放使得匹配输入图像的匹配区域与参考图像对应的 匹配区域的内容发生较大的改变而导致匹配的失败。基于FFT的频域方法因为使用整幅图 像作为区域来进行匹配，因此对图像的重叠比例要求比较高。 (2)基于特征的稳相算法 基于特征的稳相方法不是直接利用图像的象素值，而是通过象素导出图像的特 征，然后W图像特征为标准，对图像重叠部分的对应特征区域进行捜索匹配，该类算法有比 较好的健壮性和鲁椿性。 基于特征的稳相方法有=个过程：特征提取、特征匹配和运动估计。首先从两幅图 像中提取灰度变化明显的点、线、区域等特征形成特征集合。然后在两幅图像对应的特征集 合中利用特征匹配算法尽可能地将存在对应关系的特征对提取出来，最后，。目前广泛被使 用的特征点提取算法中主要的一类是角点，角点检测算法最常见的有Moravec角点检测算 法，SUSAN角点检测算法和Harris角点检测算法。本文所述的特征点均为Harris角点。 基于特征的航拍视频稳相算法优点主要体现在=个方面： ?图像的特征点比图像的象素点要少很多，因此大大减少了匹配过程的计算量； ?特征点的匹配度量值对位置的变化比较敏感，可W大大提高匹配的精确程度； ?特征点的提取过程可W减少噪声的影响，对灰度变换、图像变形W及遮挡都有 较好的适应能力。 但目前航拍视频稳相上还存在W下不足： 1)在特征检测环节，亚像素级的特征检测一般通过拟合一条二次曲线来对检测器 极值点进行插值。然而，由于常用的检测器获得的角点对噪声较敏感，且角点响应的幅值在 其高频部分呈现有较大波动的尖峰状，因此经过拟合插值方法得到的亚像素角点位置容易 发生偏移，而该些偏移的角点会影响图像配准的精度。 2)在特征匹配环节，特征匹配的精度和空间分布对于具有复杂局部形变的航拍图 像配准精度至关重要。基于标记的方法存在的一个难W解决的问题就是从低分辨到高分辨 的逐级配准中，如何选择合适的滤波尺度而不损失图像不同内容的特性。同时，航拍图像中 投影区域和建筑物会因为摄影姿态和观察角度的不同在图像间会发生变化，因此一些匹配 点的定位会发生偏移，上述方法无法从建筑物或阴影该样的目标上移除该些错误匹配点， 从而导致变换模型估计不准确。 3)在运动补偿部分，运动补偿是根据补偿参数提取抖动分量，其重点在于去除抖 动的同时保留扫描运动。常用的补偿方法有运动衰减法、均值滤波法、Kalman滤波法等。其 中，运动衰减法中的衰减系数是实验中凭经验设定的，无法适用于所有的视频序列；均值滤 波采用简单的求平均运算，会引入多余的低频噪声；Kalman滤波则要求过程噪声和观测噪 声先验已知，并服从零均值的高斯分布，该在实际系统中是难W满足的。
技术实现思路
： 本专利技术的目的在于克服上述已有技术的不足，提出一种基于自适应运动滤波的高 分辨航拍视频稳相方法，该方法是一种结构化的细分方法，使结构化细分的尺寸和形状适 应于图像细节和几何差异。[001引为达到上述目的，本专利技术采用如下的技术方案予W实现的： ，包括如下步骤： 1)利用Harris角点检测器对待稳像航拍图像进行角点检测，实现角点的定化在 不同分辨率下保留具有相同位置的稳定角点作为检测的特征点，计算待稳像航拍图像的特 征点的DelaunayS角网图，利用DelaunayS角网图对DelaunayS角网图边的模型参数估 计，通过计算待稳像航拍图像配准特征点的最小生成树图，利用最小生成树图的边集估计 模型参数，来提取待稳像航拍图像的初始匹配对； 2)对步骤1)中得到的待稳像航拍图像的初始匹配对，利用投影不变提取精确匹 配对，通过精确匹配对对步骤1)预处理后的航拍图像=角化，得到最终=角网，将最终= 角网与DelaunayS角网图中的DelaunayS角网进行比较，获取待稳像航拍图像的全局运 动参数； 3)利用Sage-Husa自适应运动滤波方法对步骤2)中得到的待稳像航拍图像的全 局运动参数矫正，得到稳像后的航拍图像。 本专利技术进一步的改进在于，步骤1)中采用基于5维一阶优化梯度滤波的Harris 角点检测器，实现角点的定位。 本专利技术进一步的改进在于，步骤1)的具体实现步骤如下：1-1)首先对Harris角点检测器的梯度滤波进行优化，采用两个一阶滤波器构 造梯度滤波，获得角点定位，然后通过对角点响应函数拟合=维二次函数并求导，将特征 点定位到亚像素精度，利用高斯函数对定位到亚像素精度的待稳像航拍图像进行平滑， 并且保留在S个分辨率下具有相同位置的角点，分别记作p= (pi，P2，P3,…，PnJ和P' = 柄，口2, 口3,…，Pj;[002引1-。对步骤1-1)中得到具有相同位置的角点，通过MTLAB软件构造Delaunay立 角网图，最终得到由具有相同位置的角点构造Delaunay二角网图； 1-3)对步骤1-2)中得到Delaunays角网图，利用最小生成树法提取初始匹配对， 最终得到的待稳像航拍图像的初始匹配对。 本专利技术进一步的改进在于，步骤2)中，对步骤1)中得到的待稳像航拍图像的初始 匹配对，利用投影不变提取精确匹配对时，具体如下： 通过对Delaunay=角网图分解，将待稳像航拍图像该种大分辨率图像细分为一 系列对应的小分辨率图像，然后通过分块配准小分辨率图像，实现精确匹配对的提取；其 中，大分辨率图像是指PPI大于等于180的图像，小分辨率图像是指PPI小于180的图像。 本专利技术进一步的改进在于，步骤2)中，最终S角网与DelaunayS角网图中的 Delaunay=角网进行比较时，本文档来自技高网...

【技术保护点】
基于自适应运动滤波的高分辨航拍视频稳相方法，其特征在于，包括如下步骤：1)利用Harris角点检测器对待稳像航拍图像进行角点检测，实现角点的定位，在不同分辨率下保留具有相同位置的稳定角点作为检测的特征点，计算待稳像航拍图像的特征点的Delaunay三角网图，利用Delaunay三角网图对Delaunay三角网图边的模型参数估计，通过计算待稳像航拍图像配准特征点的最小生成树图，利用最小生成树图的边集估计模型参数，来提取待稳像航拍图像的初始匹配对；2)对步骤1)中得到的待稳像航拍图像的初始匹配对，利用投影不变提取精确匹配对，通过精确匹配对对步骤1)预处理后的航拍图像三角化，得到最终三角网，将最终三角网与Delaunay三角网图中的Delaunay三角网进行比较，获取待稳像航拍图像的全局运动参数；3)利用Sage‑Husa自适应运动滤波方法对步骤2)中得到的待稳像航拍图像的全局运动参数矫正，得到稳像后的航拍图像。

【技术特征摘要】

【专利技术属性】
技术研发人员：易盟，侯春光，
申请(专利权)人：长安大学，
类型：发明
国别省市：陕西;61