一种基于视觉引导的舰载机着陆过程姿态预估方法技术

本发明专利技术公开一种基于视觉引导的舰载机着陆过程姿态预估方法，首先对舰载机采集到的连续两帧图像的特征点进行提取和匹配，根据匹配点对及其像素坐标，计算出两帧图像的对极几何关系得到基础矩阵，通过基础矩阵与本质矩阵的对应关系来确定本质矩阵，对本质矩阵进行奇异值分解后求解出旋转矩阵，将求得的旋转矩阵转换为欧拉角，从而估计出舰载机下降过程中的姿态信息。本发明专利技术只需利用两帧及以上观测图像即可估计出舰载机的姿态信息，具有更强的灵活性，基于视觉引导的方式，成本低、精度高，且抗干扰能力强。

An attitude prediction method based on visual guidance for landing process of carrier aircraft

The invention discloses a method to estimate the attitude of aircraft landing process based on visual guidance, the first point of two consecutive frames of the aircraft to the acquisition of feature extraction and matching, according to the matching points and pixel coordinates, calculate the two images of the epipolar geometry based matrix, corresponding to the relationship between the fundamental matrix and the essential matrix to determine the essential matrix, the essence of the matrix singular value decomposition to calculate rotation matrix, the rotation matrix will be obtained for the conversion of Euler angle, in order to estimate the aircraft attitude information in the process of decline. The invention can estimate the attitude information of the carrier aircraft only by using two frames and above observation images, and has more flexibility. Based on the visual guidance way, the system has low cost, high accuracy and strong anti-interference ability.

【技术实现步骤摘要】
一种基于视觉引导的舰载机着陆过程姿态预估方法
本专利技术涉及一种基于视觉引导的舰载机着陆过程姿态预估方法，属于计算机视觉

技术介绍
舰载机是航空母舰主要的作战武器。舰载机的性能对航空母舰是否能发挥最大作战力量起着决定性的作用。关于舰载机仍存在许多难点需要攻坚，例如舰载机的降落问题，因其危险程度高、降落难度大，且降落事故引起的损失惨重，因此，引导舰载机安全降落也一直是全世界研究的重点。获取准确、高精度的着舰过程的姿态信息是舰载机安全降落的关键，而姿态信息是由导航系统所提供。传统的导航技术包括惯性导航、雷达导航、GPS导航等。传统的导航技术存在着一些问题：惯性导航对惯性元件的要求较高，且误差会逐渐增大，影响导航精度；雷达导航的定位精度受限于雷达，且需采用雷达回收站，费用将增加；GPS导航是目前应用最广泛的导航方式，但由于GPS借助卫星定位，容易受到电子的干扰；而视觉导航作为一种新型导航技术，因其不受地形干扰、精度高、自主化程度高、成本较低等优点，得到人们广泛的关注。视觉导航是以图像处理技术为基础，对摄像机采集到的图像进行处理，从而估计出目标运动过程中的位姿信息，以进行对目标的进一步控制，其中，根据图像信息获取目标的姿态信息一直是研究的重点和难点。
技术实现思路
为解决上述问题，本专利技术在现有的导航技术理论下，运用视觉里程计中的特征点法，提出一种基于视觉引导的舰载机着陆过程姿态预估方法。该方法根据舰载机摄像机采集到的舰载机降落过程的序列图像，获取相应的特征点，并利用相邻两帧的变化关系解得帧间的相对运动参数，进而得到舰载机的位姿信息，进而实现舰载机运动控制。具体技术方案如下：一种基于视觉引导的舰载机着陆过程姿态预估方法，包括以下步骤：S1.对舰载机机载摄像机拍摄的连续两帧图像进行特征点提取和匹配，获得匹配点对；S2.根据获得的匹配点对计算出两帧图像间的对极几何关系，得到基础矩阵F；S3.对基础矩阵F通过归一化图像坐标进行转换以得到本质矩阵E；S4.对本质矩阵E进行奇异值分解后求解出旋转矩阵R；S5.将求得的旋转矩阵R转换为欧拉角，通过欧拉角来描述舰载机的预估位姿信息。作为一种优选方案，在S1中还包括判断匹配是否成功，若出现匹配点少于期望值N或未匹配现象，则根据上一帧信息预测当前帧的特征点位置，并结合上一帧特征点更新匹配点对，N的取值不小于8。作为一种优选方案，根据上一帧信息利用卡尔曼滤波器预测当前帧的特征点位置。作为一种优选方案，步骤S1采用SIFT算法进行特征点的提取和匹配。作为一种优选方案，步骤S1包括：S11.建立高斯差分金字塔：构建的高斯金字塔，将构建完成的高斯金字塔同一组中相邻两层的图像相减，按组排列生成一系列差分图像，这些差分图像即构成高斯差分金字塔；S12.关键点的初查：寻找高斯差分金字塔的局部极值点并将这些局部极值点定义为关键点；S13.关键点精确定位：对寻找到的关键点进一步筛选，去除低对比度的关键点及不稳定的边缘响应点；S14.关键点方向分配：计算任一关键点的邻域像素的梯度信息，再根据梯度信息，为每一个经精确定位后的关键点分配方向；S15.关键点特征描述；为每一个经精确定位后的关键点建立特征描述符，根据梯度信息得到对应关键点的特征向量；S16.特征点匹配：通过计算两组特征点特征向量的欧式距离度量两组特征点的相似性，当两个特征点特征向量的欧式距离小于设定的距离阈值时，则接收这一对匹配点。作为一种优选方案，步骤S12中，寻找局部极值点时，样本点要与它当前图像邻近的8个点，以及上下相邻层上的邻近的各9个点做比较，依次遍历每一个点，当所选样本点比所有近邻点大或小时被选择为关键点。作为一种优选方案，步骤S14中，对梯度计算后，使用直方图对邻域像素的梯度方向进行统计，将直方图的峰值方向作为关键点的主方向，将大于主方向峰值80％的方向保留并作为关键点的辅方向。作为一种优选方案，步骤S2采用RANSAC算法计算基础矩阵。RANSAC算法计算如下：对舰载机机载摄像机拍摄的两帧图中任意一对匹配点基本矩阵F满足条件x'TFx＝0，记两帧图匹配点坐标分别为x＝(x,y,1)T，x'＝(x',y',1)T，fij为基础矩阵F的i行j列元素，则满足：展开后有：x'xf11+x'yf12+x'f13+y'xf21+y'yf22+y'f23+xf31+yf32+f33＝0将基础矩阵F写成列向量f的形式，则有：[x'xx'yx'y'xy'yy'xy1]f＝0随机从匹配点对中选定8组，设为则有：令左边矩阵为A，则有Af＝0，进行线性运算易得基础矩阵F，用F进行验算，计算验算成功的点对数n；再随机选择8组点对，重复以上步骤，找到使n最大的F作为最终求得的基础矩阵F。作为一种优选方案，步骤S3包括：假设舰载机机载摄像机外参矩阵P＝[R|t]，则x＝PX，已知机载摄像机标定矩阵K，将K的逆矩阵作用于点x得到点则是图像上的点在归一化坐标下的表示，本质矩阵即在归一化图像坐标下的基础矩阵；假设令其对应反对称矩阵为：则本质矩阵具有如下形式：E＝[t]XR＝R[R|t]X用归一化图像坐标表示点对则本质矩阵的定义方程为：将代入上式得x'TK'-TEK-1x＝0；与x'TFx＝0比较，得到本质矩阵E和基础矩阵F的关系：E＝K'TFK在已知舰载机机载摄像机内参矩阵的条件下，可根据上述公式将基础矩阵F转换为本质矩阵E。作为一种优选方案，步骤S4包括：本质矩阵E已知，即可恢复舰载机机载摄像机的内参矩阵，令E＝[t]×R＝SR，S为反对称矩阵，反对称矩阵块分解可得S＝kUZUT，利用如下矩阵：在相差一个符号的意义下，Z＝diag(110)W,S＝Udiag(110)WUT，得到E的奇异值分解，即：E＝SR＝Udiag(110)(WUTR)假设E的奇异值分解为Udiag(110)VT,R＝UXVT,则有：Udiag(110)VT＝E＝SR＝(UZUT)(UXVT)＝U(ZX)VT故，ZX＝diag(110)，推得X＝W或X＝WT；又因为St＝[t]Xt＝0，计算得到t＝U(001)T＝u3，即等于分解矩阵U的最后一列，由此，机载摄像机的外参矩阵P由旋转矩阵和平移矩阵组成，的其对应四种可能解，即：P＝[UWVT|u3]；[UWVT|-u3]；[UWTVT|u3]；[UWTVT|-u3]，选择拍摄的物体位于舰载机机载摄像机的前方所对应的点，得到机载摄像机的外参矩阵P的解，从而得到旋转矩阵。作为一种优选方案，步骤S5包括：设舰载机单独绕x、y、z轴旋转θ角度的旋转矩阵分别为Rx(θ)、Ry(θ)、Rz(θ)，则有：若舰载机按x轴、y轴、z轴的顺序旋转，记x、y、z三个轴欧拉角的正弦和余弦函数为sx,cx,sy,cy,sz,cz；该变换的旋转矩阵为：设旋转矩阵形式如下：设舰载机x轴、y轴、z轴欧拉角分别为θx,θy,θz，根据旋转矩阵表达式，则可以推导出欧拉角取值：θx＝atan2(r32,r33)θz＝atan2(r21,r11)由此，基于视觉的引导，估计出舰载机下降过程的姿态信息。本专利技术提出的基于视觉引导的舰载机着陆过程姿态预估方法与现有的技术相比优点在于：(1)本专利技术基于视觉引导的方式，只需要利用两帧及以上的观测图像即可估算出舰载机的姿态信息，本文档来自技高网...

【技术保护点】
一种基于视觉引导的舰载机着陆过程姿态预估方法，其特征在于：包括以下步骤：S1.对舰载机机载摄像机拍摄的连续两帧图像进行特征点提取和匹配，获得匹配点对；S2.根据获得的匹配点对计算出两帧图像间的对极几何关系，得到基础矩阵F；S3.对基础矩阵F通过归一化图像坐标进行转换以得到本质矩阵E；S4.对本质矩阵E进行奇异值分解后求解出旋转矩阵R；S5.将求得的旋转矩阵R转换为欧拉角，通过欧拉角即可描述舰载机的预估位姿信息。

【技术特征摘要】
1.一种基于视觉引导的舰载机着陆过程姿态预估方法，其特征在于：包括以下步骤：S1.对舰载机机载摄像机拍摄的连续两帧图像进行特征点提取和匹配，获得匹配点对；S2.根据获得的匹配点对计算出两帧图像间的对极几何关系，得到基础矩阵F；S3.对基础矩阵F通过归一化图像坐标进行转换以得到本质矩阵E；S4.对本质矩阵E进行奇异值分解后求解出旋转矩阵R；S5.将求得的旋转矩阵R转换为欧拉角，通过欧拉角即可描述舰载机的预估位姿信息。2.根据权利要求1所述的一种基于视觉引导的舰载机着陆过程姿态预估方法，其特征在于：在S1中还包括判断匹配是否成功，若出现匹配点少于期望值N或未匹配现象，则根据上一帧信息预测当前帧的特征点位置，并结合上一帧特征点更新匹配点对，N的取值不小于8。3.根据权利要求1至2任意一项所述的一种基于视觉引导的舰载机着陆过程姿态预估方法，其特征在于：步骤S1采用SIFT算法进行特征点的提取和匹配。4.根据权利要求3所述的一种基于视觉引导的舰载机着陆过程姿态预估方法，其特征在于：所述步骤S1包括：S11.建立高斯差分金字塔：构建的高斯金字塔，将构建完成的高斯金字塔同一组中相邻两层的图像相减，按组排列生成一系列差分图像，这些差分图像即构成高斯差分金字塔；S12.关键点的初查：寻找高斯差分金字塔的局部极值点并将这些局部极值点定义为关键点；S13.关键点精确定位：对寻找到的关键点进一步筛选，去除低对比度的关键点及不稳定的边缘响应点；S14.关键点方向分配：计算任一关键点的邻域像素的梯度信息，再根据梯度信息，为每一个经精确定位后的关键点分配方向；S15.关键点特征描述；为每一个经精确定位后的关键点建立特征描述符，根据梯度信息得到对应关键点的特征向量；S16.特征点匹配：通过计算两组特征点特征向量的欧式距离度量两组特征点的相似性，当两个特征点特征向量的欧式距离小于设定的距离阈值时，则接收这一对匹配点。5.根据权利要求4所述的一种基于视觉引导的舰载机着陆过程姿态预估方法，其特征在于：步骤S12中，寻找局部极值点时，样本点要与它当前图像邻近的8个点，以及上下相邻层上的邻近的各9个点做比较，依次遍历每一个点，当所选样本点比所有近邻点大或小时被选择为关键点。6.根据权利要求4所述的一种基于视觉引导的舰载机着陆过程姿态预估方法，其特征在于：步骤S14中，对梯度计算后，使用直方图对邻域像素的梯度方向进行统计，将直方图的峰值方向作为关键点的主方向，将大于主方向峰值80％的方向保留并作为关键点的辅方向。7.根据权利要求1所述的一种基于视觉引导的舰载机着陆过程姿态预估方法，其特征在于：所述步骤S2采用RANSAC算法计算基础矩阵，计算方式如下：对舰载机机载摄像机拍摄的两帧图中任意一对匹配点基本矩阵F满足条件x'TFx＝0，记两帧图匹配点坐标分别为x＝(x,y,1)T，x'＝(x',y',1)T，fij为基础矩阵F的i行j列元素，则满足：展开后有：x'xf11+x'yf12+x'f13+y'xf21+y'yf22+y'f23+xf31+yf32+f33＝0将基础矩阵F写成列向量f的形式，则有：[x'xx'yx'y'xy'yy'xy1]f＝0随机从匹配点对中选定8组，设为则有：令左边矩阵为A，则有Af＝0，进行线性运算易得基础矩阵F，用F进行验算，计算验算成功的点对数n；再随机选择8组点对，重...

【专利技术属性】
技术研发人员：彭聪，曾聪，甄子洋，王新华，江驹，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32