一种无人机航摄影像的实时拼接方法技术

本发明专利技术涉及图像处理领域，具体而言，涉及无人机航摄影像的实时拼接方法。本发明专利技术提供的无人机航摄影像拼接方法，根据相邻待拼接航摄影像的重叠率，实时调整提取关键航摄影像的帧间间隔；并根据相邻两帧同名点的匹配关系得到相邻两帧的变换矩阵，将序列航摄影像变换到参考影像的坐标系；根据设置的参考帧调整判决条件，实时调整参考帧，以将航摄影像变换到参考帧坐标系过程中产生的累积误差分散到各帧影像，避免误差累积导致后续影像的严重扭曲变形。

A real time stitching method for unmanned aerial photography image

The present invention relates to the field of image processing, in particular, a real-time stitching method involving an unmanned aerial photography image. The present invention provides the UAV aerial image mosaic method, according to the overlap of adjacent spliced aerial image, adjust the aerial image to extract key frame interval; and get the transformation matrix between two adjacent frames according to the matching relation between two adjacent points, the aerial image sequence to transform the coordinates of the reference image according to the reference frame; adjust the judgment condition setting, real-time adjustment of the reference frame, the cumulative error of aerial photography image transform to the reference frame coordinates of the dispersed to each frame image, to avoid serious distortion error accumulation cause subsequent image deformation.

【技术实现步骤摘要】
一种无人机航摄影像的实时拼接方法
本专利技术涉及图像处理领域，具体涉及一种无人机航摄影像的实时拼接方法。
技术介绍
近年来无人机因其高效，灵活，低成本等特性，已被广泛应用于勘探，应急，救灾等领域。无人机航空摄影测量技术大大降低了传统航空摄影测量技术的工作周期和人力，财力的投入，使得航空摄影测量技术在应急救灾等具有更加现实的意义。一方面可以通过搭载的视频捕捉设备通过图像远程传输技术实施观察航拍区域的现状；另一方面可以待航摄飞行任务完成后，利用航摄影像拼接技术对航摄影像进行拼接，以得到航摄区域的整体影像。在摄影测量领域，典型的航摄影像拼接方法包括：以满足一定重叠率和时间间隔的航摄影像为数据源；并根据航摄影像的像空间坐标系和物空间坐标系的姿态数据，对航摄影像进行正射校正；然后通过特征点提取与匹配技术得到航摄影像中特征点对的匹配关系；利用航摄影像间特征点对的匹配关系，实现航摄影像的拼接。但是，在上述无人机航空摄影测量技术存在以下问题：若实时观察航摄影像，则存在视场窄，观察范围小的问题；若利用航摄影像拼接拓展视场，则存在需待航摄任务完成后再对航摄影像进行拼接的问题，即不能实时的问题。由此可知，在现有的航摄影像拼接的过程中，初始关键帧提取间隔是固定不变的，不会随着时间的推移而实时的调整，随着无人机姿态等的变化，为了使相邻关键帧影像的重叠率满足拼接要求，现有技术一般设置固定的帧间间隔提取关键帧，且一般设置的帧间提取间隔较小。主要是因为无人机作业过程中姿态等的变化会影响相邻关键帧影像的重叠率，为了避免上述因素导致相邻关键帧影像的重叠率不满足拼接要求，故而设置的帧间间隔较小。.现有技术中较小帧间间隔并不能满足摄影测量学中对于拼接影像重叠率的要求，重叠率过高增加了算法的计算量，导致航摄影像实时性受到影响；重叠率过低，不能满足拼接要求。
技术实现思路
本专利技术所要解决的技术问题是避免了相邻两幅关键帧重叠率过高而导致的计算量过高，而导致的航摄影像实时性差，目的在于提供一种无人机航摄影像的实时拼接方法，随着无人机姿态等的变化，根据当前帧间间隔的关系实时调整后续关键帧影像的提取间隔，以确保各个相邻两幅关键帧的重叠区域及重叠率满足拼接影像的要求，同时也避免了相邻两幅关键帧重叠率过高而导致的计算量过高的问题，最终实现航射影像的实时拼接。本专利技术通过下述技术方案实现：一种无人机航摄影像的实时拼接方法，包括如下步骤：步骤A)设置初始参考帧R1及初始关键帧提取的帧间间隔Gap0，帧间间隔Gap0根据航摄影像重叠率要求设置；步骤B)根据初始关键帧提取的帧间间隔Gap0，从序列航摄影像中得到关键帧R2；步骤C)从初始参考帧R1中提取特征点序列S1，并提取关键帧R2的特征点序列S2，利用KD树算法得到特征点序列S1和特征点序列S2中匹配特征点对的坐标匹配关系；步骤D)根据特征点序列S1与S2中匹配特征点对的坐标匹配关系和直接线性变换算法得到关键帧R2相对于参考帧R1的变换矩阵并利用变换矩阵H1，将关键帧R2变换到参考帧R1的坐标平面内；步骤E)根据关键帧R2与参考帧R1的变换关系H1，得到相邻两个关键帧之间的重叠率OverLap1；并根据相邻两个关键帧的重叠率OverLap1，得到提取后续关键帧的帧间间隔Gap1；步骤F)根据上述得到的帧间间隔Gap1，提取后续关键帧R3；同理，提取关键帧R3中的特征点序列S3；同时，利用关键帧R2中的特征点序列S2和关键帧R3中的特征点序列S3得到二者的变换关系H2，利用变换矩阵H2，将关键帧R3变换到以关键帧R2为参考帧的坐标系中；并且可以利用变换矩阵H2得到关键帧R2和关键帧R3的重叠率OverLap2，以此调整后续提取关键帧的帧间间隔Gap2；以此类推通过不断调整帧间间隔得到后续关键帧及相邻关键帧的变换关系；步骤G)利用关键帧R2与关键帧R1的变换关系H1，关键帧R3与关键帧R2的变换关系H2，以此类推，关键帧Rn与关键帧Rn-1的变换关系Hn-1，n为正整数，将关键帧影像变换到拼接过程中动态选取的参考帧影像的坐标系中，进而实现多幅图像的拼接。为了确保关键帧影像间的重叠率满足航摄影像拼接重叠率的要求，现有技术设置的时间间隔较小，进而导致关键帧影像的重叠率出现冗余。为了克服现有技术的不足，本专利技术通过实时计算关键帧影像间的重叠率，然后根据当前重叠率与摄影测量学中所规定的拼接影像重叠率的比例关系，及当前帧间间隔，实现实时调整后续关键帧提取的帧间间隔。具体而言，在上述航摄影像关键帧的提取过程中根据相邻两幅关键帧的变换关系得到相邻两幅航摄影像的重叠率，当计算出的重叠率没有在拼接重叠率要求的范围内时，则调整帧间间隔，使得重叠率位于拼接重叠率要求的范围为止，此时再利用调整后的帧间间隔计算下一个关键帧，以此类推，向后计算。根据相邻两幅关键帧的重叠率与摄影测量学中所要求的拼接影像重叠率之间的比例关系及当前帧间间隔的关系实时调整后续关键帧影像的提取间隔，以确保各个相邻两幅关键帧的重叠区域及重叠率满足拼接影像的要求，以降低航摄影像拼接的冗余计算量，避免了相邻两幅关键帧重叠率过高而导致的计算量过高的问题。本专利技术不仅确保了相邻关键帧影像的重叠率满足拼接要求，而且避免了相邻关键帧影像的重叠率过高，达到了降低计算量，提高算法效率的效果,并利用相邻两幅关键帧影像的变换关系实现了无人机作业过程中航摄影像的实时拼接。优选的，步骤F)根据相邻关键帧影像的变换关系，计算相邻关键帧影像间的重叠率，然后根据当前重叠率与摄影测量学中所规定的拼接影像重叠率的比例关系，及当前帧间间隔，实现实时调整后续关键帧提取的帧间间隔。优选的，步骤G)在拼接过程中不断动态调整参考帧，然后利用相邻关键帧影像的变换关系H1，H2，...Hn-1,n为正整数，得到各个关键帧影像相对于动态选取的参考帧的变换关系，然后利用此变换关系将各个关键帧影像变换到动态选取的参考帧所在的坐标平面中，实现多幅影像的拼接。现有技术一般通过设定较小的固定时间间隔提取关键帧影像，随着拼接的进行，后续影像依次变换到同一参考帧影像所在坐标系过程中,会出现拼接误差的累积及无人机姿态变化的影像，拼接影像易出现严重变形及拼接错位。针对拼接过程中航摄影像的扭曲变形问题，现有技术通过引入飞机的姿态数据，利用飞机的姿态数据对航摄影像进行校正，以降低拼接过程的扭曲变形。但是在无人机作业过程中，实时拼接航摄影像，若引入飞机的姿态数据，一方面增加计算量，导致拼接效率降低，无法满足实时拼接要求；另一方面无法确保关键帧影像与飞机姿态数据的一一对应，导致无法有效克服扭曲形变。本专利技术为了克服此问题，在图像拼接过程中实时调整参考帧，参考帧不再像现有技术中那样是固定不变的,并利用已知的变换关系将各个航拍影像变换到新的不同的参考坐标系中，一方面截断误差的累积导致后续影像的严重扭曲变形；另一方面降低了无人机姿态变化的影响，可以提高拼接精度，避免拼接错位，降低拼接过程中图像形变过大的问题。并且，由于本专利技术未引入无人机的姿态数据，避免了关键帧影像与飞机姿态数据的不对应引起的拼接误差，降低了算法的计算量，确保航摄影像的实时拼接。关键帧影像间的重叠率是航摄影像拼接成功的关键因素。在满足航摄影像拼接重叠率的前提下，上述算法通过实时调整相邻两本文档来自技高网...

【技术保护点】
一种无人机航摄影像的实时拼接方法，其特征在于，包括如下步骤：步骤A)设置初始参考帧R1及初始关键帧提取的帧间间隔Gap0，帧间间隔Gap0根据航摄影像重叠率要求设置；步骤B)根据初始关键帧提取的帧间间隔Gap0，从序列航摄影像中得到关键帧R2；步骤C)从初始参考帧R1中提取特征点序列S1，并提取关键帧R2的特征点序列S2，利用KD树算法得到特征点序列S1和特征点序列S2中匹配特征点对的坐标匹配关系；步骤D)根据特征点序列S1与S2中匹配特征点对的坐标匹配关系和直接线性变换算法得到关键帧R2相对于参考帧R1的变换矩阵

【技术特征摘要】
1.一种无人机航摄影像的实时拼接方法，其特征在于，包括如下步骤：步骤A)设置初始参考帧R1及初始关键帧提取的帧间间隔Gap0，帧间间隔Gap0根据航摄影像重叠率要求设置；步骤B)根据初始关键帧提取的帧间间隔Gap0，从序列航摄影像中得到关键帧R2；步骤C)从初始参考帧R1中提取特征点序列S1，并提取关键帧R2的特征点序列S2，利用KD树算法得到特征点序列S1和特征点序列S2中匹配特征点对的坐标匹配关系；步骤D)根据特征点序列S1与S2中匹配特征点对的坐标匹配关系和直接线性变换算法得到关键帧R2相对于参考帧R1的变换矩阵并利用变换矩阵H1，将关键帧R2变换到参考帧R1的坐标平面内；步骤E)根据关键帧R2与参考帧R1的变换关系H1，得到相邻两个关键帧之间的重叠率OverLap1；并根据相邻两个关键帧的重叠率OverLap1，得到提取后续关键帧的帧间间隔Gap1；步骤F)根据上述得到的帧间间隔Gap1，提取后续关键帧R3；同理，提取关键帧R3中的特征点序列S3；同时，利用关键帧R2中的特征点序列S2和关键帧R3中的特征点序列S3得到二者的变换关系H2，利用变换矩阵H2，将关键帧R3变换到以关键帧R2为参考帧的坐标系中；并且可以利用变换矩阵H2得到关键帧R2和关键帧R3的重叠率OverLap2，以此调整后续提取关键帧的帧间间隔Gap2；以此类推通过不断调整帧间间隔得到后续关键帧及相邻关键帧的变换关系；步骤G)利用关键帧R2与关键帧R1的变换关系H1，关键帧R3与关键帧R2的变换关系H2，以此类推，关键帧Rn与关键帧Rn-1的变换关系Hn-1，n为正整数，将关键帧影像变换到拼接过程中动态...

【专利技术属性】
技术研发人员：孙婷婷，任斌，王陈，
申请(专利权)人：成都纵横自动化技术有限公司，
类型：发明
国别省市：四川,51