基于多航带起始航迹约束的图像拼接与定位方法技术

本发明专利技术属于计算机图像处理与地图测绘领域，具体为一种基于多航带起始航迹约束的图像拼接与定位方法，用以克服多航带拼接时常出现两条甚至多条航带相互交叉、重叠等问题。本发明专利技术根据每一条航带起始航迹，使用线性回归，确定的拟合直线，根据拟合直线，矫正该航带之后的拼接图像，减少累积误差，使后续拼接图像与起始拼接图像产生依赖关系，从而避免出现航带交叉或者分叉等现象的出现，同时可以适应更加复杂的飞行航迹，只要单航带为直线即可，从而不仅仅局限于矩形航迹，提高航带间图像拼接质量和全景图定位精度。

Image Mosaic and Location Method Based on Initial Track Constraints of Multi-Belt

【技术实现步骤摘要】
基于多航带起始航迹约束的图像拼接与定位方法
本专利技术涉及计算机图像处理与地图测绘领域，具体为一种基于多航带起始航迹约束的图像拼接与定位方法，主要用于提高航带间图像的拼接质量和全景图的定位精度。
技术介绍
UAV(UnmannedAerialVehicle无人机)具有运行简单、反应迅速、飞行灵活、成本低等特点，已被广泛应用于抗灾救灾、军事侦察、海上检测、环境保护等测绘
其中大多数需求都直接表现为得到飞行作业区全景图及图中各点的GPS信息。目前无人机航拍图像拼接方法主要为基于图像特征的拼接方法，该方法对单航带图像的拼接效果比较理想，但多航带拼接时常出现两条甚至多条航带相互交叉，重叠等情况；传统的无人机图像定位方法主要通过一帧图像的中心点GPS，利用地面分辨率与比例尺递推出该帧图像中其他各点的GPS信息，但这种方法计算每帧图像的分辨率、比例尺时会出现误差，而且整体误差会随拼接过程逐渐累加。如何提高航带间图像的拼接质量和全景图的定位精度是亟需解决的难题。
技术实现思路
本专利技术的目的在于针对上述技术问题，提供一种基于多航带起始航迹约束的图像拼接与定位方法，用于提高航带间图像拼接质量和全景图定位精度。为实现上述目的，本专利技术采用的技术方案为：基于多航带起始航迹约束的图像拼接与定位方法，包括以下步骤：步骤1.航带图像拼接步骤1-1.按照以下方法完成航带中前K帧图像的拼接：步骤1-1-1.图像预处理：对接收到的每帧视频图像进行灰度化；步骤1-1-2.图像特征提取：每帧图像用SURF算子检测图像特征得到特征点集，并采用BRISK特征描述子对特征点计算生成特征描述向量；步骤1-1-3.图像特征匹配：对步骤1-1-2中得到的第k-1帧与第k帧图像的特征描述向量进行BF匹配得到初始匹配结果，k＝1,2,3,...K；再通过RANSAC算法将初始匹配结果中剔除异常匹配值，得到获得最佳匹配点对集；最后，根据最佳匹配点对集，通过最小二乘法计算第k-1帧与第k帧的透视变换单应性矩阵Hk-1；步骤1-1-4.图像拼接：计算出第k帧相对于第1帧的单应性矩阵：Hk＝Hk-1*Hk-2*...*H0；将第k帧图像的四个角点通过单应性矩阵Hk变换为新坐标更新到全景图对应位置，并将已拼接图像的像素中心点存储至点集P1；步骤1-2.第1条航带中K+1帧至最后1帧图像的拼接由步骤1完成前K帧图像拼接，并根据点集P中元素，拟合得直线L；针对第k帧图像，k＝K+1,K+2,K+3,...,K1；K1为航带的总视频图像帧数；采用步骤1-1-1至步骤1-1-3相同处理，得到第k帧图像的单应性矩阵Hk-1，根据单应性矩阵Hk-1计算出第k帧图像中心点A(xa，ya)；将点A投影至直线L上，得到投影点B(xb，yb)；进而得到第k帧图像的偏移矩阵：Bk＝[1,0,xb-xa；0,1,yb-ya]；更新H′k-1＝Hk-1*Bk，进而得到第k帧相对于第1帧的累计单应性矩阵：Hk＝H′k-1*H′k-2*...*H′K+1*H′K*HK-1*...*H0将第k帧图像的四个角点通过单应性矩阵Hk变换为新坐标更新到全景图对应位置；步骤2.第1个悬停处拼接：采用步骤1-1相同处理过程，完成悬停处所有图像拼接；步骤3.重复步骤1～2，依次完成第2条航带、第2个悬停处、第3条航带、第3个悬停处，直至最后1条航带拼接；完成全景图像的拼接；步骤4、全景图任意点GPS定位步骤4-1.将全景图像中所有拼接帧的像素中心点的UTM与像素坐标分别存入UTM点集与像素中心点集，使用透视变换求出UTM点集与像素中心点集的映射函数关系；步骤4-2.全景图中任意点的像素点坐标根据步骤4-1中映射函数关系计算得到对应UTM坐标，实现定位。进一步的，步骤4-1中，若映射函数关系无法求出，则依次等概率的减少点集数量，直至求出为止。本专利技术的有益效果在于：本专利技术提供基于多航带起始航迹约束的图像拼接与定位方法，根据每一条航带起始航迹，使用线性回归，确定的拟合直线，根据拟合直线，矫正该航带之后的拼接图像，减少累积误差，使后续拼接图像与起始拼接图像产生依赖关系，从而避免出现航带交叉或者分叉等现象的出现，同时可以适应更加复杂的飞行航迹，只要单航带为直线即可，从而不仅仅局限于矩形航迹.提高航带间图像的拼接质量和全景图的定位精度。附图说明图1为本专利技术偏移矫正向量示意图。图2为本专利技术实施例中三行带起始航迹约束的结果图。具体实施方式下面结合附图和实施例对本专利技术做进一步详细说明；为方便描述本
技术实现思路
，首先对涉及术语进行必要的解释：SURF：SURF(SpeededUpRobustFeatures,加速稳健特征)是一个稳健的图像识别和描述算法，是SIFT算法的继承和发展；SURF特征的提取包括：构建Hessian矩阵，生成所有特征点、构建尺度空间、对特征点进行定位、特征点主方向分配、生成特征点描述子、特征点匹配等步骤，通过这些步骤计算得到相邻图像的SURF特征匹配点对，但SURF算法在特征描述阶段与特征匹配阶段耗时较多，难以满足实时性要求高的场合；本专利技术采用SURF算子检测图像的特征特征点并确定主方向。BRISK：BinaryRobustInvariantScalableKeypoints提出了一种特征提取算法和二进制特征描述算子，在对有较大模糊的图像配准时，BRISK算法在众多算法中表现最为出色，但该算法特征检测算子为FAST算子，该算子提取的特征特征点精细度和准确度不如SIFT和SURF算子；考虑到检测速度和模糊拼接的鲁棒性，本专利技术采用BRISK算子作为特征描述子。BF：BF算法，即暴风(BruteForce)算法，是普通的模式匹配算法，BF算法的思想就是将目标串S的第一个字符与模式串T的第一个字符进行匹配，若相等，则继续比较S的第二个字符和T的第二个字符；若不相等，则比较S的第二个字符和T的第一个字符，依次比较下去，直到得出最后的匹配结果。RANSAC：RandomSampleConsensus是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。单应性矩阵：在计算机视觉中，平面的单应性被定义为一个平面到另外一个平面的投影映射，单应性矩阵便是描述该映射关系的映射矩阵。UTM坐标：UTM(UNIVERSALTRANSVERSEMERCARTORGRIDSYSTEM，通用横墨卡托格网系统)坐标是一种平面直角坐标，这种坐标格网系统及其所依据的投影已经广泛用于地形图，作为卫星影像和自然资源数据库的参考格网以及要求精确定位的其他应用；因为图像拼接完成后为二维平面图像，因此原有的GPS坐标必须转换为UTM坐标才能适用。本实施例提供一种基于多航带起始航迹约束的图像拼接与定位方法，能够提高航带间图像的拼接质量和全景图的定位精度，包括图像预处理、图像特征提取、图像特征匹配、航迹约束、全景图任意点GPS定位五个步骤；具体如下：步骤1.第1条航带图像拼接步骤1-1.按照以下方法完成第1条航带中前K帧图像的拼接：步骤1-1-1.图像预处理：对每帧视频图像进行灰度化灰度化：将彩色图像的RGB三个分量以对应的权值进行加权平均；本实施例中，按下式对RGB三分量进行加权平均能得到较合理的灰度图像：f(i,本文档来自技高网...

【技术保护点】
1.基于多航带起始航迹约束的图像拼接与定位方法，包括以下步骤：步骤1.航带图像拼接步骤1‑1.按照以下方法完成航带中前K帧图像的拼接：步骤1‑1‑1.图像预处理：对接收到的每帧视频图像进行灰度化；步骤1‑1‑2.图像特征提取：每帧图像用SURF算子检测图像特征得到特征点集，并采用BRISK特征描述子对特征点计算生成特征描述向量；步骤1‑1‑3.图像特征匹配：对步骤1‑1‑2中得到的第k‑1帧与第k帧图像的特征描述向量进行BF匹配得到初始匹配结果，k＝1,2,3,...K；再通过RANSAC算法将初始匹配结果中剔除异常匹配值，得到获得最佳匹配点对集；最后，根据最佳匹配点对集，通过最小二乘法计算第k‑1帧与第k帧的透视变换单应性矩阵Hk‑1；步骤1‑1‑4.图像拼接：计算出第k帧相对于第1帧的单应性矩阵：Hk＝Hk‑1*Hk‑2*...*H0；将第k帧图像的四个角点通过单应性矩阵Hk变换为新坐标更新到全景图对应位置，并将已拼接图像的像素中心点存储至点集P1；步骤1‑2.第1条航带中K+1帧至最后1帧图像的拼接由步骤1完成前K帧图像拼接，并根据点集P中元素，拟合得直线L；针对第k帧图像，k＝K+1,K+2,K+3,...,K1；K1为航带的总视频图像帧数；采用步骤1‑1‑1至步骤1‑1‑3相同处理，得到第k帧图像的单应性矩阵Hk‑1，根据单应性矩阵Hk‑1计算出第k帧图像中心点A(xa，ya)；将点A投影至直线L上，得到投影点B(xb，yb)；进而得到第k帧图像的偏移矩阵：Bk＝[1,0,xb‑xa；0,1,yb‑ya]；更新H′k‑1＝Hk‑1*Bk，进而得到第k帧相对于第1帧的累计单应性矩阵：Hk＝H′k‑1*H′k‑2*...*H′K+1*H′K*HK‑1*...*H0将第k帧图像的四个角点通过单应性矩阵Hk变换为新坐标更新到全景图对应位置；步骤2.第1个悬停处拼接：采用步骤1‑1相同处理过程，完成悬停处所有图像拼接；步骤3.重复步骤1～2，依次完成第2条航带、第2个悬停处、第3条航带、第3个悬停处，直至最后1条航带拼接；完成全景图像的拼接；步骤4、全景图任意点GPS定位步骤4‑1.将全景图像中所有拼接帧的像素中心点的UTM与像素坐标分别存入UTM点集与像素中心点集，使用透视变换求出UTM点集与像素中心点集的映射函数关系；步骤4‑2.全景图中任意点的像素点坐标根据步骤4‑1中映射函数关系计算得到对应UTM坐标，实现定位。...

【技术特征摘要】
1.基于多航带起始航迹约束的图像拼接与定位方法，包括以下步骤：步骤1.航带图像拼接步骤1-1.按照以下方法完成航带中前K帧图像的拼接：步骤1-1-1.图像预处理：对接收到的每帧视频图像进行灰度化；步骤1-1-2.图像特征提取：每帧图像用SURF算子检测图像特征得到特征点集，并采用BRISK特征描述子对特征点计算生成特征描述向量；步骤1-1-3.图像特征匹配：对步骤1-1-2中得到的第k-1帧与第k帧图像的特征描述向量进行BF匹配得到初始匹配结果，k＝1,2,3,...K；再通过RANSAC算法将初始匹配结果中剔除异常匹配值，得到获得最佳匹配点对集；最后，根据最佳匹配点对集，通过最小二乘法计算第k-1帧与第k帧的透视变换单应性矩阵Hk-1；步骤1-1-4.图像拼接：计算出第k帧相对于第1帧的单应性矩阵：Hk＝Hk-1*Hk-2*...*H0；将第k帧图像的四个角点通过单应性矩阵Hk变换为新坐标更新到全景图对应位置，并将已拼接图像的像素中心点存储至点集P1；步骤1-2.第1条航带中K+1帧至最后1帧图像的拼接由步骤1完成前K帧图像拼接，并根据点集P中元素，拟合得直线L；针对第k帧图像，k＝K+1,K+2,K+3,...,K1；K1为航带的总视频图像帧数；采用步骤1-1-1至步骤1-1-3相同处理...

【专利技术属性】
技术研发人员：解梅，夏子涵，秦国义，罗尧，马争，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51