基于特征矫正GPS信息的航拍图实时拼接方法及系统技术方案

本发明专利技术公开了一种基于特征矫正GPS信息的航拍图实时拼接方法及系统，属于图像处理技术领域。所述方法包括：根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标；根据第一图像和第二图像的像素坐标对应的GPS坐标，选取第一图像中的n个图像块作为待匹配块，在第二图像中分别为每个待匹配块选一个对应的候选匹配块；提取每个待匹配块的特征向量，构成特征向量集合；基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块；根据待匹配块和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数；根据透视变换矩阵将第一图像和第二图像映射到同一坐标系。本发明专利技术的方法可以实现航拍图像的实时拼接。时拼接。时拼接。

【技术实现步骤摘要】
基于特征矫正GPS信息的航拍图实时拼接方法及系统


[0001]本专利技术属于图像处理
，特别是涉及一种基于特征矫正GPS信息的航拍图实时拼接方法及系统。

技术介绍

[0002]在航拍图的常用拼接方法中，大致有两个工作方向：1.通过图像匹配算法，将连续的航拍图序列一一拼接成整幅图；2.通过航拍过程记录的POS信息（即无人机的高度和GPS信息等），根据GPS对应像素点做图像匹配。在第一种方法下，由于航拍图的分辨高，匹配算法耗时较长，达不到实时效果；第二种方法简单高效，但是性价比高的设备带来的高度和GPS误差也较大，对连续帧的拼接产生较大的误差。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的不足，提供一种基于特征矫正GPS信息的航拍图实时拼接方法及系统。
[0004]本专利技术的目的是通过以下技术方案来实现的：根据本专利技术的第一方面，基于特征矫正GPS信息的航拍图实时拼接方法，包括：根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标；根据第一图像和第二图像的像素坐标对应的GPS坐标，选取第一图像中的n个图像块作为待匹配块，在第二图像中分别为每个待匹配块选一个对应的图像块作为候选匹配块，所述第二图像为与第一图像相邻的后一帧航拍图像；提取每个待匹配块的特征向量，构成特征向量集合；基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块；根据待匹配块的中心点坐标和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数；根据透视变换矩阵将第一图像和第二图像映射到同一坐标系，完成图像拼接。
[0005]进一步地，根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标，包括：步骤S110.根据飞行器的偏航角、高度以及飞行器搭载的相机的相机内参计算航拍图像中每个像素的精度；步骤S120.根据航拍图像中每个像素的精度和航拍图像的中心点GPS坐标计算每个像素的GPS坐标。
[0006]进一步地，所述航拍图像中x方向的像素精度为：式中，为航拍图像中x方向的像素精度，Width为航拍图像的宽，w为相机实际成
像范围的宽度；所述航拍图像中y方向的像素精度为：式中，为航拍图像中y方向的像素精度，Height为航拍图像的宽，h为相机实际成像范围的宽度；其中，；式中，H为飞行器的高度，F为相机的焦距，为相机成像元件的宽，为相机成像元件的高。
[0007]进一步地，像素(x,y)的GPS坐标的计算公式为：式中，为航拍图像的中心点GPS坐标。
[0008]进一步地，提取每个待匹配块的特征向量，构成特征向量集合，包括：采用CNN模型对第一图像中每个待匹配块进行特征提取，得到n个特征向量；将所述n个特征向量组成特征向量集合。
[0009]进一步地，所述CNN模型包括滤波器层、非线性层、池化层和归一化层。
[0010]进一步地，所述待匹配块的最优匹配块的选取方法包括：步骤S410.分别将所述待匹配块对应的候选匹配块的中心点周围S*S范围内的每个点作为中心点，获取与该候选匹配块同等大小的图像块，并提取该图像块的特征向量，其中；步骤S420.将所述特征向量与所述待匹配块的特征向量做欧式距离，形成欧氏距离集合：步骤S430.选取欧氏距离集合D中最小的距离：；步骤S440.将对应的图像块作为所述待匹配块的最优匹配块。
[0011]进一步地，所述透视变换矩阵中的参数的计算公式为：
式中，为第二图像最优匹配块的中心点坐标；为第一图像中待匹配块的中心点坐标；为两帧图像的透视变换矩阵，大小为3*3。
[0012]根据本专利技术的第二方面，基于特征矫正GPS信息的航拍图实时拼接系统，包括：GPS坐标计算模块，用于根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标；匹配块选取模块，用于根据第一图像和第二图像的像素坐标对应的GPS坐标，选取第一图像中的n个图像块作为待匹配块，在第二图像中分别为每个待匹配块选一个对应的图像块作为候选匹配块，所述第二图像为与第一图像相邻的后一帧航拍图像；特征提取模块，用于提取每个待匹配块的特征向量，构成特征向量集合；匹配模块，用于基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块；参数计算模块，用于根据待匹配块的中心点坐标和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数；拼接模块，用于根据透视变换矩阵将第一图像和第二图像映射到同一坐标系，完成图像拼接。
[0013]本专利技术的有益效果是：本专利技术通过偏航角、高度和GPS信息估算像素精度（即像素代表实际长度和宽度，单位米），通过GPS信息将相邻帧中重叠的n个（n大于等于4的整数）Patch区（图像块）域取出，然后将GPS计算的重叠区域提取特征向量，并根据特征向量寻找最优匹配的，通过匹配的Patch和计算出相邻帧的映射矩阵，从而达到矫正GPS信息精度的效果，由于在航拍图中只计算对应的Patch区域，因此该方法可以达到高精度的航拍图实时拼接。
附图说明
[0014]图1为本专利技术中航拍图实时拼接方法的一种实施例的流程图；图2为部分相机内参的关系示意图；图3为第一图像和第二图像中选取的图像块的示意图；图4为图像拼接的示意图；图5为本专利技术中航拍图实时拼接系统的一种实施例的组成框图。
具体实施方式
[0015]下面将结合实施例，对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0016]参阅图1至图5，本专利技术提供一种基于特征矫正GPS信息的航拍图实时拼接方法及系统：本实施例的第一方面提供了一种基于特征矫正GPS信息的航拍图实时拼接方法。如图1所示，所述航拍图实时拼接方法包括步骤S100至步骤S600，以下详细说明。
[0017]步骤S100.根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标。
[0018]在一些实施例中，根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标，包括：步骤S110.根据飞行器的偏航角、高度以及飞行器搭载的相机的相机内参计算航拍图像中每个像素的精度。
[0019]如图2所示，相机内参中成像元件大小为、焦距F，飞行器的高度为H，则实际成像的范围的宽度为w和高度h：。
[0020]所述航拍图像中x方向的像素精度为：式中，为航拍图像中x方向的像素精度，Width为航拍图像的宽，w为相机实际成像范围的宽度。
[0021]所述航拍图像中y方向的像素精度为：式中，为航拍图像中y方向的像素精度，Height为航拍图像的宽，h为相机实际成像范围的宽度。
[0022]步骤S120.根据航拍图像中每个像素的精度和航拍图像的中心点GPS坐标计算每个像素的GPS坐标。
[0023]像素(x,y)的GPS坐标的计算公式为：式中，为航拍图像的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于特征矫正GPS信息的航拍图实时拼接方法，其特征在于，包括：根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标；根据第一图像和第二图像的像素坐标对应的GPS坐标，选取第一图像中的n个图像块作为待匹配块，在第二图像中分别为每个待匹配块选一个对应的图像块作为候选匹配块，所述第二图像为与第一图像相邻的后一帧航拍图像；提取每个待匹配块的特征向量，构成特征向量集合；基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块；根据待匹配块的中心点坐标和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数；根据透视变换矩阵将第一图像和第二图像映射到同一坐标系，完成图像拼接。2.根据权利要求1所述的基于特征矫正GPS信息的航拍图实时拼接方法，其特征在于，根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标，包括：步骤S110.根据飞行器的偏航角、高度以及飞行器搭载的相机的相机内参计算航拍图像中每个像素的精度；步骤S120.根据航拍图像中每个像素的精度和航拍图像的中心点GPS坐标计算每个像素的GPS坐标。3.根据权利要求2所述的基于特征矫正GPS信息的航拍图实时拼接方法，其特征在于，所述航拍图像中x方向的像素精度为：式中，为航拍图像中x方向的像素精度，Width为航拍图像的宽，w为相机实际成像范围的宽度；所述航拍图像中y方向的像素精度为：式中，为航拍图像中y方向的像素精度，Height为航拍图像的宽，h为相机实际成像范围的宽度；其中，；式中，H为飞行器的高度，F为相机的焦距，为相机成像元件的宽，为相机成像元件的高。4.根据权利要求3所述的基于特征矫正GPS信息的航拍图实时拼接方法，其特征在于，像素(x,y)的GPS坐标的计算公式为：
式中，为航拍图像的中心点GPS坐标。5.根据权利要求1所述的基于特征矫正GPS信息的航拍图实时拼接方法，其特征在于，提取每个待匹配块的特征向量，构成特征向量集合，包括：采...

【专利技术属性】
技术研发人员：蒙顺开，瞿锐恒，李叶雨，
申请(专利权)人：海豚乐智科技成都有限责任公司，
类型：发明
国别省市：