无人机影像定位定姿方法及无人机技术

技术编号:19335717 阅读:36 留言:0更新日期:2018-11-07 11:48
本申请实施例公开了一种无人机影像定位定姿方法和无人机,涉及无人机技术领域。该方法包括:获取相机内参以及包括影像和机载POS数据,根据相机内参对影像进行畸变纠正得到无畸变影像,提取无畸变影像中的特征点和特征描述,利用机载POS数据进行约束完成特征粗匹配,再进行相对定向得到影像间的本质矩阵,提取无畸变影像中的特征点和特征描述,以粗匹配中的本质矩阵为核线约束进行快速的高精度匹配,计算影像之间的相关性,通过区域增长方式得到子图,在子图内部进行增量式重建后进行全局优化重建,在全局优化重建过程中加入相机内参,最终得到无人机影像的精确位置和姿态。上述方法和无人机可用于提高无人机影像定位定姿的准确性。

UAV image location and attitude determination method and UAV

The embodiment of the application discloses an image positioning and attitude determination method and an unmanned aerial vehicle, which relates to the technical field of the unmanned aerial vehicle. The method includes: acquiring camera internal parameters, including image and airborne POS data, correcting image distortion according to camera internal parameters, extracting feature points and feature descriptions in distorted image, using airborne POS data to constrain rough matching of features, and then relative orientation to get the original image. Qualitative matrix is used to extract feature points and feature descriptions in distortionless images. The essential matrix in rough matching is used as the constraint of the core line for fast and high-precision matching. The correlation between images is calculated. The sub-image is obtained by Region growth. After incremental reconstruction, the sub-image is reconstructed globally and optimized globally. The camera's internal parameters are added to the reconstruction process, and finally the precise position and attitude of UAV images are obtained. The above method and UAV can be used to improve the accuracy of positioning and positioning of UAV images.

【技术实现步骤摘要】
无人机影像定位定姿方法及无人机
本专利技术涉及无人机
,尤其涉及一种无人机影像定位定姿方法及无人机。
技术介绍
利用无人机快速获取感兴趣区域的影像已逐渐成为当前航空摄影测量发展的一个重要分支。与传统航空摄影测量影像相比,无人机获取的影像具有高空间分辨率、高时间分辨率等优点。但是,受限于无人机系统的安全性及负载能力,无人机上通常搭载的是较廉价的非量测型相机,该类型相机具有如下特点:(1)像幅小,一般不超过一亿像素,因此影像数量特别巨大;(2)畸变量大,影像边缘处的畸变量可达200个像素以上,需要高次方程才能很好的表达;(3)一致性差,同型号的不同相机的畸变规律不同,难以用一套参数来适配同一个型号的所有相机。为此,海量无人机影像处理往往存在效率低下,畸变难以正确改正及处理结果不稳定等问题。
技术实现思路
有鉴于此,本申请实施例提供一种无人机影像定位定姿方法及无人机,优化现有检校算法,减少操作员的干预,增强检校结果的可靠性。本申请实施例第一方面提供了一种无人机影像定位定姿方法,包括:获取影像和机载定姿定位系统数据;使用相机内参对所述影像进行畸变纠正,得到无畸变影像,所述相机内参经过预置的检校方式进行高精度检校得到;通过第一特征检测算法,提取所述无畸变影像的第一特征点及第一特征点的特征描述;以所述机载定姿定位系统数据为空间约束,对所述第一特征点和所述第一特征点的特征描述进行基于距离的匹配,得到第一影像和第二影像的的第一同名点信息;根据所述第一同名点信息和所述相机内参,利用随机抽样一致算法计算出所述第一影像和所述第二影像的相对位置和姿态;通过角点检测算法提取所述无畸变影像高精度的角点,并将提取的角点作为第二特征点,利用第二特征检测算法提取每个所述第二特征点的特征描述;以所述第一影像和所述第二影像的相对位置和姿态为核线约束,对所述第二特征点和所述第二特征点的特征描述进行基于距离的匹配,得到所述第一影像和所述第二影像的第二同名点的信息;利用所述影像和所述机载定姿定位系统数据构建德洛内三角网,获取所述德洛内三角网中所述第一影像和所述第二影像之间的边的权值,以得到所述第一影像和所述第二影像的相关性,其中,所述德洛内三角网的每个顶点为每张所述影像,顶点坐标为所述机载定姿定位系统数据的经纬度值,每条边具有唯一的权值;将所述德洛内三角网,通过预设方式的区域增长分割为多个子图;将每个所述子图进行增量式重建,得到所述影像的位置、姿态和稀疏的三维点云;将影像的外方位元素及稀疏的三维点云、相机内参加入,进行全局式重建优化,得到影像的最终位置和姿态。本申请实施例第二方面提供了一种无人机,包括:相机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现本申请实施例第一方面提供的无人机影像定位定姿方法。本申请各实施例,通过相机的高精度检校来解决非测量型相机畸变大且不同相机间差异大的问题,由于未知变量的减少有效地降低了处理过程的计算量,同时提高了处理结果的精度和稳定性,以及采取从粗到精和核线约束的匹配策略,使得海量无人机影像匹配的效率达到了实时的处理要求,通过相关性的子图分割,确保小规模问题求解的效率,同时先增量重建再全局优化重建的策略进一步提高了处理结果的精度,从而提高了无人机获取影像的位置和姿态的准确性。附图说明图1为本申请实施例提供的无人机影像定位定姿方法的流程图;图2为本申请实施例提供的无人机的硬件结构示意图;图3为本申请实施例提供的无人机影像定位定姿装置的结构示意图。具体实施方式为更进一步阐述本申请为实现预定专利技术目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本申请的具体实施方式、结构、特征及其功效,详细说明如后。请参阅图1,图1为本专利技术提供的无人机影像定位定姿方法的流程示意图。该方法包括:S101、对无人机搭载的相机进行高精度检校,得到相机内参;无人机在出厂前需对其搭载的相机按照预设的检校方式进行高精度检校,得到精确的相机内参,包括焦距、像主点和畸变参数。具体地,对该相机进行高精度检校,得到相机内参可包括:设置如下畸变模型公式:Δx=(x-x0)(k1r2+k2r4+k3r6)+p1|r2+2(x-x0)2]+2p2(x-x0)(y-y0)+α(x-x0)+β(y-y0)Δy=(y-y0)(k1r2+k2r4+k3r6)+p2|r2+2(y-y0)2]+2p1(x-x0)(y-y0)其中:Δx,Δy为像点改正值;x,y为像方坐标系下的像点坐标;x0,y0为像主点,k1、k2、k3、p1、p2、a、b为畸变参数。进一步地,设置如下共线方程:其中,f为焦距,x0,y0为像主点,a1、a2、a3、b1、b2、b3、c1、c2、c3为旋转矩阵中的元素,Xs、Ys、Zs为线元素,X、Y、Z为已知物方点的三维坐标,x、y为对应的像方点坐标;其中,s为自然数。进一步地,相机的高精度检校需要在已经测量控制点坐标的实验场内进行,控制点坐标是人工实测的,具有非常高的测量精度,因此可以保证该相机内参是精确的。根据共线方程列出误差方程,通过最小二乘法计算出相机的精确的相机内参,该相机内参包括焦距、像主点和畸变参数。具体地,令控制点为{P1…Pn},控制点对应的像点则为{p1…pn},其中Pi=(Xi,Yi,Zi),pi=(xi,yi);其中,n和i均为自然数。将相机的标称焦距作为f的初值,像主点x0,y0和畸变参数k1、k2、k3、p1、p2、a、b初始化为零;根据前述共线方程列出每个控制点的方程,由于像主点和畸变参数均为零,共线方程可简化为如下:利用直接线性变换(DLT,DirectLinearTransformation)算法计算出旋转矩阵中的元素a1、a2、a3、b1、b2、b3、c1、c2、c3及线元素Xs、Ys、Zs。其中,i和s均为自然数。列出每个控制点误差方程如下:其中,Δxi,Δyi为xi和yi对应的像点改正值。高精度检校过程即寻找最小化目标函数的参数,如下所示:利用最小二乘法对上述最小化目标函数进行求解,先将DLT算法计算得到的结果作为最小二乘法的初值,再迭代计算得到相机的精确的内参。另外,当相机曝光数量每达到10万次或使用过程中有剧烈碰撞时,均需要返厂进行高精度检校。S102、获取影像和机载定姿定位系统数据;无人机进行正常作业,获取影像和机载定姿定位系统数据(POS,PositioningandOrientationSystem),影像和机载POS数据统称为飞行数据。其中每张影像对应一个机载POS数据,此机载POS数据为无人机上的传感器记录的摄影时相机在空中的位置和姿态,其中位置即为经纬度。需要说明的是,受限于传感器的测量精度,此位置和姿态精度一般都很差,不能直接使用。S103、使用该相机内参对该影像进行畸变纠正,得到无畸变影像;利用步骤S101中的精确的相机内参对飞行数据中的影像进行畸变纠正,得到无畸变影像。具体地,针对飞行数据中的每张影像,可以得到拍摄该影像的相机所对应的精确的相机内参,包括焦距、像主点和畸变参数,相机内参作为已知量,可以根据根据步骤S101中的该畸变模型公式得到Δx、Δy,Δx和Δy分别是x、y的像点改正值;令(x,y)和(xu,yu本文档来自技高网...

【技术保护点】
1.一种无人机影像定位定姿方法,其特征在于,所述方法包括:获取影像和机载定姿定位系统数据;使用相机内参对所述影像进行畸变纠正,得到无畸变影像,所述相机内参经过预置的检校方式进行高精度检校得到;通过第一特征检测算法,提取所述无畸变影像的第一特征点及第一特征点的特征描述;以所述机载定姿定位系统数据为空间约束,对所述第一特征点和所述第一特征点的特征描述进行基于距离的匹配,得到第一影像和第二影像的的第一同名点信息;根据所述第一同名点信息和所述相机内参,利用随机抽样一致算法计算出所述第一影像和所述第二影像的相对位置和姿态;通过角点检测算法提取所述无畸变影像高精度的角点,并将提取的角点作为第二特征点,利用第二特征检测算法提取每个所述第二特征点的特征描述;以所述第一影像和所述第二影像的相对位置和姿态为核线约束,对所述第二特征点和所述第二特征点的特征描述进行基于距离的匹配,得到所述第一影像和所述第二影像的第二同名点的信息;利用所述影像和所述机载定姿定位系统数据构建德洛内三角网,获取所述德洛内三角网中所述第一影像和所述第二影像之间的边的权值,以得到所述第一影像和所述第二影像的相关性,其中,所述德洛内三角网的每个顶点为每张所述影像,顶点坐标为所述机载定姿定位系统数据的经纬度值,每条边具有唯一的权值;将所述德洛内三角网,通过预设方式的区域增长分割为多个子图;将每个所述子图进行增量式重建,得到所述影像的位置、姿态和稀疏的三维点云;按照预置方式合并各所述子图,将影像的外方位元素及稀疏的三维点云、相机内参加入,进行全局式重建优化,得到影像的最终位置和姿态。...

【技术特征摘要】
1.一种无人机影像定位定姿方法,其特征在于,所述方法包括:获取影像和机载定姿定位系统数据;使用相机内参对所述影像进行畸变纠正,得到无畸变影像,所述相机内参经过预置的检校方式进行高精度检校得到;通过第一特征检测算法,提取所述无畸变影像的第一特征点及第一特征点的特征描述;以所述机载定姿定位系统数据为空间约束,对所述第一特征点和所述第一特征点的特征描述进行基于距离的匹配,得到第一影像和第二影像的的第一同名点信息;根据所述第一同名点信息和所述相机内参,利用随机抽样一致算法计算出所述第一影像和所述第二影像的相对位置和姿态;通过角点检测算法提取所述无畸变影像高精度的角点,并将提取的角点作为第二特征点,利用第二特征检测算法提取每个所述第二特征点的特征描述;以所述第一影像和所述第二影像的相对位置和姿态为核线约束,对所述第二特征点和所述第二特征点的特征描述进行基于距离的匹配,得到所述第一影像和所述第二影像的第二同名点的信息;利用所述影像和所述机载定姿定位系统数据构建德洛内三角网,获取所述德洛内三角网中所述第一影像和所述第二影像之间的边的权值,以得到所述第一影像和所述第二影像的相关性,其中,所述德洛内三角网的每个顶点为每张所述影像,顶点坐标为所述机载定姿定位系统数据的经纬度值,每条边具有唯一的权值;将所述德洛内三角网,通过预设方式的区域增长分割为多个子图;将每个所述子图进行增量式重建,得到所述影像的位置、姿态和稀疏的三维点云;按照预置方式合并各所述子图,将影像的外方位元素及稀疏的三维点云、相机内参加入,进行全局式重建优化,得到影像的最终位置和姿态。2.如权利要求1所述的方法,其特征在于,所述使用相机内参对所述影像进行畸变纠正,得到无畸变影像之前包括:对无人机搭载的相机进行高精度检校,得到所述相机内参,所述相机内参包括焦距、像主点和畸变参数。3.如权利要求2所述的方法,其特征在于,所述对无人机搭载的相机进行高精度检校,得到所述相机内参包括:设置畸变模型公式以及共线方程,并根据所述共线方程列出误差方程,通过最小二乘法计算出所述相机内参;其中,畸变模型公式如下:Δx=(x-x0)(k1r2+k2r4+k3r6)+p1[r2+2(x-x0)2]+2p2(x-x0)(y-y0)+α(x-x0)+β(y-y0)Δy=(y-y0)(k1r2+k2r4+k3r6)+p2[r2+2(y-y0)2]+2p1(x-x0)(y-y0)其中:Δx,Δy为像点改正值;x,y为像方坐标系下的像点坐标;x0,y0为像主点,k1、k2、k3、p1、p2、a、b为畸变参数;共线方程如下:其中,f为焦距,x0,y0为像主点,a1、a2、a3、b1、b2、b3、c1、c2、c3为旋转矩阵中的元素,Xs、Ys、Zs为线元素,X、Y、Z为已知物方点的三维坐标,x、y为对应的像方点坐标;令经过实测的控制点为{P1…Pn},控制点对应的像点则为{p1…pn},其中Pi=(Xi,Yi,Zi),pi=(xi,yi);将相机的标称焦距作为f的初值,像主点x0,y0和畸变参数k1、k2、k3、p1、p2、a、b初始化为零;则根据所述共线方程列出每个所述控制点的方程,所述共线方程可简化为如下:利用直接线性变换算法计算出所述旋转矩阵中的元素a1、a2、a3、b1、b2、b3、c1、c2、c3及线元素Xs、Ys、Zs。列出每个控制点误差方程如下:其中,Δxi,Δyi为xi和yi对应的像点改正值;将所述直接线性变换算法计算出所述旋转矩阵中的元素a1、a2、a3、b1、b2、b3、c1、c2、c3及线元素Xs、Ys、Zs的值作为最小二乘法的初值,利用最小二乘法对最小化目标函数求解,得到所述相机内参;其中,最小化目标函数为:4.如权利要求3所述的方法,其特征在于,所述使用相机内参对所述影像进行畸变纠正,得到无畸变影像包括:从每张所述影像,得到所述相机内参,所述相机内参包括焦距、像主点和畸变参数;根据所述相机内参,调整所述影像畸变纠正前后的坐标改正公式;根据所述影像进行畸变纠正前的坐标和所述改正公式,计算得到所述影像的畸变纠正后的坐标,并采用双线性内插计算出所述畸变纠正后的坐标对应的颜色值,以得到所述影像对应的无畸变影像。5.如权利要求1所述的方法,其特征在于,所述以所述机载定姿定位系统数据为空间约束,对所述第一特征点和所述第一特征点的特征描述进行基于距离的匹配,得到第一影像和第二影像的的第一同名点信息包括:对所有影像构建德洛内三角网,所述德洛内三角网的每个顶点对应一张影像,顶点坐标为对应影像的机载定姿定位系统数据的经纬度值,两张影像的图距离...

【专利技术属性】
技术研发人员:高广王邦松支晓栋
申请(专利权)人:深圳飞马机器人科技有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1