一种基于区域特征的视频帧间拼接方法技术

本发明专利技术提出一种基于区域特征的视频帧间拼接方法。使用摄像机和惯性传感器及获取目标场景图像的三维信息及摄像机的运动参数，从而估计出图像的全局光流；使用全局光流的局部拟合提取出符合图像全局运动的局部特征区域；在局部特征区域内，基于改进的FAST特征提取算子精确地估计出图像的全局运动变换矩阵，并结合图像融合技术完成帧间拼接。本发明专利技术在保证精度的前提下，降低了计算量，提高了算法的实时性，同时降低了环境变化对图像拼接的影响。

【技术实现步骤摘要】

本专利技术属于图像处理
，具体涉及一种基于区域特征的视频帧间拼接方 法。
技术介绍
随着无人机在军事侦察、抗灾救灾及遥感遥测等领域的广泛应用，航拍视频的图 像拼接技术引起了国内外学者专家的重视。使用图像拼接技术将无人机获取的视频序列拼 接成一幅覆盖全范围的全景图，有利于目标的准确定位、检测与跟踪。图像拼接的核心与重 点是图像配准，图像配准的精度及算法量直接影响图像拼接的精度及实时性。在航拍视频 中，图像的全局运动通常是指由于飞行器和机载摄像机引起的图像背景的运动，而运动的 目标通常较小，因此图像的全局运动占主导地位。 现有的航拍视频的拼接方法主要分为直接法和特征法两类。其中直接法比较有代 表意义的是attiato在对图像局部块运动估计的基础上通过最小二乘法实现对图像的全 局运动估计进而实现图像配准，该方法取得了很好的效果，然而该方法在图像局部差异较 小的情况下容易失效，且受环境的影响较大。相比之下，特征法的应用较为广泛，比如brown 和Iowe采用SIFT实现了对不同图像的配准并将其应用于离线状态下的图像拼接，该方法 精度较高，但算法耗时长、实时性差；Steedly在视频拼接中采用MOPMulti-scale Oriented Patches来实现视频帧间配准计算效率，但其实时性还是无法满足无人机航拍视频快速拼 接的要求。
技术实现思路
本专利技术提出，在保证精度的前提下，降低 了计算量，提高了算法的实时性，同时降低环境变化对图像拼接的影响。 为了解决上述技术问题，本专利技术提供，包 括以下步骤： 步骤一：同步控制摄像机和惯性传感器工作，使用摄像机获得待拼接图像中每个 像素的深度信息，使用惯性传感器获得摄像机的运动参数，并计算出待拼接图像的全局光 流； 步骤二：在待拼接图像中，使用局部光流拟合法提取符合图像全局运动的局部特 征区域； 步骤三：在局部特征区域中，使用FAST特征提取算子提取图像的FAST特征点； 步骤四：使用SAD算子对参考图像和待拼接图像中的FAST特征点进行配准，基于 FAST特征点并结合RANSAC算法计算出待拼接图像的全局运动投影变换矩阵； 步骤五：结合渐入渐出加权平均算法完成待拼接图像与参考图像的无缝拼接。 本专利技术与现有技术相比，其显著优点在于：（1)实际应用中，由于航拍场景较为复 杂，区域运动估计的不确定性及运动目标的干扰降低了全局运动的估计精度，本专利技术提出 了基于区域特征的图像全局运动估计的快速配准算法，提高了精度；（2)本专利技术基于惯性 传感器和Kinect摄像机组成的硬件平台完成图像全局光流的计算，不仅降低了本专利技术的 计算量，提高了实时性，还排除了环境对于光流计算的影响，具有较高的环境鲁棒性；(3) 本专利技术通过在整幅图像中提取局部特征区域进行图像配准方式来大幅度地降低了图像拼 接的计算量和计算时间；(4)本专利技术采用改进的FAST提取算子代替经典的SIFT算子进行 特征计算，再次降低算法的计算复杂度。【附图说明】 图1为本专利技术基于区域特征的视频帧间拼接方法流程图； 图2为本专利技术使用的FAST特征提取算子示意图； 图3为本专利技术使用的渐入渐出算法示意图。【具体实施方式】 如图1所示，本专利技术基于区域特征的视频帧间拼接方法，实现步骤如下所述： 步骤一：同步控制摄像机和惯性传感器工作，使用摄像机获得待拼接图像中每个 像素的深度信息，使用惯性传感器获得摄像机的运动参数，并计算出待拼接图像的全局光 流； 步骤二：在待拼接图像中，使用局部光流拟合法提取符合图像全局运动的局部特 征区域； 步骤三：在局部特征区域中，使用FAST特征提取算子提取图像的FAST特征点； 步骤四：使用SAD算子对参考图像和待拼接图像中的FAST特征点进行配准，基于 FAST特征点并结合RANSAC算法计算出待拼接图像的全局运动投影变换矩阵； 步骤五：结合渐入渐出加权平均算法完成待拼接图像与参考图像的无缝拼接。 上述步骤一的具体实现如下： 步骤I. 1 :同步控制惯性传感器及Kinect摄像机的工作，摄像机可以采用Kinect 摄像机，Kinect摄像机同时包括深度图像获取C⑶和彩色图像获取(XD，可以同时获取彩色 图像和深度图像；惯性传感器中包括陀螺仪和加速度计。 使用惯性传感器获取摄像机的运动欧拉角、三轴位移，其中α为章动角、β为进动 角、Y为自转角、t x为X方向的位移，ty为y方向的位移，tz为ζ方向的位移；R为运动外 参矩阵旋转矩阵，T为运动外参矩阵的平移矩阵，旋转矩阵R和平移矩阵T的计算公式如式 (1)、（2)所示： 公式⑵中，T为向量的转置形式， 使用摄像机获取待拼接图像中每个像素的深度信息U， 步骤1. 2 :使用光流公式计算出待拼接图像的全局光流d(u，V)，其中光流公式如 式（3)、⑷所示： 其中，通过公式（3)计算出参考图像中的像素坐标叫在待拼接图像中的像素坐标 m2，根据公式（4)计算出像素坐标Hi1的全局光流d(u，V)，其中u为像素坐标Hi 1的水平方向 的全局光流，V为像素坐标IH1的垂直方向的全局光流，Up U2分别为Iii1和m2的深度信息，K 为摄像机的内参矩阵。 步骤一更为详细的实现过程可以参见申请号为201410027349. 4、名称为基于惯性 传感器和Kinect摄像机的图像配准方法的专利申请。 上述步骤二的具体实现如下： 步骤2. 1 :将待拼接图像分割成大小为wXw的多个块区域，w是块区域内像素的个 数；在每个块区域内，结合四点法使用全局光流d(u，v)估算出每个块区域内的局部仿射变 换关系，局部仿射变换关系如公式（5)所示： 公式（5)中，（X，y)为参考图像的像素坐标；参数和a6分别作为为 矩阵的参数因子构成块区域的局部投影变换矩阵Hbkldi,如公式（6)所示， 步骤2. 2 :将块区域内所有计算得出的全局光流d(u，V)分别代入局部投影变换矩 阵Hbkldi中，计算获得估计全局光流值d'（u'，ν'），如公式（7)所示， 步骤2. 3 :根据估计全局光流值d'（u'，ν'）和全局光流值d(u, V)计算出拟合误差 σ，如公式⑶所示， 步骤2. 4:当块区域的拟合误差〇值小于预先设定的阈值δ时，提取出该块区 域；否则，舍弃该块区域；最后将所有提取出的块区域作为图像拼接的局部特征区域。 本专利技术对步骤三中的FAST特征提取算子做出了改进，具体实现如下： 在局部特征区域中，为了获取分布相对均匀的FAST特征点，本专利技术以D为步长在 局部特征区域内进行扫描，即在行与列方向上，选取每隔D个像素点的像素点为中心像素， 进行FAST特征点的判断和提取。FAST特征点的判断与提取方式如图2所示，以扫描像素 为中心像素，选择其周围16个像素点为待比较的像素点，其中行与列方向上的半径设置为 两个像素，对角线方向的半径设置为1个像素，计算中心像素与周围16个点的像素灰度差 值，在这16个点的像素灰度差值中，若差值为正的数量大于预先设定的阈值T (通常取值为 12)，或者差值为负的数量大于预先设定的阈值T，则认为该中心像素为FAST特征点。 为了排除边缘点的影响并进一步降低运算量，本专利技术首先计算中心像素与图2中 点1、点9、点5、点13的灰度差值,即首先计算中心像本文档来自技高网...

【技术保护点】
一种基于区域特征的视频帧间拼接方法，其特征在于，包括以下步骤：步骤一：同步控制摄像机和惯性传感器工作，使用摄像机获得待拼接图像中每个像素的深度信息，使用惯性传感器获得摄像机的运动参数，并计算出待拼接图像的全局光流；步骤二：在待拼接图像中，使用局部光流拟合法提取符合图像全局运动的局部特征区域；步骤三：在局部特征区域中，使用FAST特征提取算子提取图像的FAST特征点；步骤四：使用SAD算子对参考图像和待拼接图像中的FAST特征点进行配准，基于FAST特征点并结合RANSAC算法计算出待拼接图像的全局运动投影变换矩阵；步骤五：结合渐入渐出加权平均算法完成待拼接图像与参考图像的无缝拼接。

【技术特征摘要】

【专利技术属性】
技术研发人员：顾国华，韩鲁，刘恒建，余明，孙爱娟，任侃，钱惟贤，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32