基于双目视觉的无人机自主着陆导航信息实时解算方法技术

本发明专利技术公开了一种基于双目视觉的无人机自主着陆导航信息实时解算方法，以4个关键特征角点来表征着陆地标图像，通过金字塔L‑K光流法跟踪这4个关键特征角点，来达到跟踪着陆地标的目的，避免直接跟踪整幅地标图像，可大大提高算法的实时性；对4个关键特征角点进行排序之后，结合关键特征角点对应的世界坐标，基于P4P问题求解算法，计算求取目标中心O在无人机机体坐标系下的三维位置坐标以及无人机的姿态信息，解算得到的三维位置信息与基于双目视觉原理计算得到的三维位置信息加和平均之后，最为最终的三维位置信息，提高算法精度。

Real time calculation method for autonomous landing navigation information of unmanned aerial vehicle based on binocular vision

The invention discloses a binocular vision based for UAV autonomous landing navigation information real-time calculation method, with 4 key feature points to characterize the landing landmark image, tracking the 4 key features of corner by Pyramid L K opticalflow, to track the landing direction, to avoid direct tracking the landmark image, can greatly improve the real-time algorithm; after the 4 key feature points are sorted, combined with the world coordinates of the corresponding key feature corner points, P4P problem solving algorithm based on 3D coordinates to calculate the center of the target O in UAV coordinates and attitude information of the UAV, then calculated the three-dimensional position information and calculated based on the principle of binocular vision and 3D position information and the average, the final 3D position information, improving the accuracy of the algorithm.

【技术实现步骤摘要】
基于双目视觉的无人机自主着陆导航信息实时解算方法
本专利技术属于无人机视觉导航、计算机视觉处理
，涉及一种基于双目视觉的无人机自主着陆导航信息实时解算方法。
技术介绍
近些年来，随着科技的快速发展，无人机发展迅速，运用区域及涉及领域越来越广泛，且一步一步的朝着自主化、智能化发展。无人机自主着陆作为其自主化、智能化发展的最重要的一环，受到广泛关注。目前，无人机自主着陆常用的导航方式为GPS导航、GPS/INS信息融合导航等。然而，GPS信号依赖卫星进行信息传输，极易受到干扰；而INS导航单独使用时，容易累计误差。故需要探索新的技术，在不依赖GPS的情况下，为无人机提供精确导航信息，完成自主着陆。目前，基于视觉的无人机自主导航着陆技术发展迅速，该技术采用视觉传感器采集图像进行处理，来获取导航信息，辅助无人机进行自主着陆。该技术具备抗干扰性好，精度高、易装备等优点，受到广泛关注。根据视觉传感器的个数，主要分为基于单目视觉的无人机自主着陆和基于多目视觉的无人机自主着陆。基于单目视觉的无人机自主着陆是基于一个视觉传感器来进行视觉图像处理，从而获得无人机相对位置与自身姿态信息进行导航，但此方法精度较低；基于多目视觉的无人机自主着陆是基于两个或多个视觉传感器来进行视觉图像处理，从而获得无人机相对位置与自身姿态信息进行导航，此法精度较高，但却需要多目视觉图像进行匹配，获得视差，从而进行三维重建，故较为耗时，不符合无人机自主着陆对图像处理算法实时性的要求。参考文献：【1】BouguetJY.PyramidalimplementationoftheLucasKanadefeaturetrackerdescriptionofthealgorithm[J].OpencvDocuments,1999,22(2):363-381.【2】LepetitV,Moreno-NoguerF,FuaP.EPnP:AnAccurateO(n)SolutiontothePnPProblem[J].InternationalJournalofComputerVision,2009,81(2):155-166.
技术实现思路
针对上述现有技术中存在的问题，本专利技术的目的在于，提供一种基于双目视觉的无人机自主着陆导航信息实时解算方法。为实现上述目的，本专利技术采用如下技术方案：基于双目视觉的无人机自主着陆导航信息实时解算方法，包括以下步骤：步骤一，获取包含有目标的双目视觉图像，双目视觉图像包括左目视觉图像和右目视觉图像；分别在左目视觉图像和右目视觉图像中提取目标图像，并对提取出的目标图像进行灰度化处理，分别得到左目目标灰度图像和右目目标灰度图像；步骤二，分别对左目目标灰度图像和右目灰度目标图像，利用亚像素级Shi-Tomasi角点提取算法进行处理，均得到四个关键特征角点，根据四个关键特征角点的横纵坐标值的大小对四个关键特征角点进行排序，分别形成关键特征角点集合Current_left1和关键特征角点集合Current_right1；步骤三，利用关键特征角点集合Current_left1和关键特征角点集合Current_right1，利用双目视觉原理求取目标中心O在无人机机体坐标系下的三维位置坐标(Xs,Ys,Zs)，利用P4P求解方法求取目标中心O在无人机机体坐标系下的三维位置坐标(XP,YP,ZP)和无人机的姿态信息；求三维位置坐标(Xs,Ys,Zs)和三维位置坐标(XP,YP,ZP)的均值作为最终求得的目标中心O在无人机机体坐标系下的三维位置坐标(X,Y,Z)；步骤四，获取下一帧包含有目标的双目视觉图像，双目视觉图像包括本帧左目视觉图像和本帧右目视觉图像；分别对本帧左目视觉图像和本帧右目视觉图像进行灰度化处理，分别得到本帧左目灰度图像和本帧右目灰度图像；步骤五，将关键特征角点集合Current_left1更新为上一帧关键特征角点集合Last_left，将关键特征角点集合Current_right1更新为上一帧关键特征角点集合Last_right；步骤六，利用金字塔L-K光流法，基于上一帧关键特征角点集合Last_left和本帧左目灰度图像，预测得到本帧的关键特征角点集合Current_left2；基于上一帧关键特征角点集合Last_left和本帧右目灰度图像，预测得到本帧的关键特征角点集合Current_right2；步骤七，分别针对关键特征角点集合Current_left2和关键特征角点集合Current_right2中的每一个关键特征角点，在以关键特征角点为中心的周围设定区域内，进行亚像素级Shi-Tomasi角点检测，检测得到新的角点，以检测得到的新的角点替换区域中心位置的关键特征角点，使得关键特征角点集合Current_left2更新为关键特征角点集合Current_left3，使得关键特征角点集合Current_right2更新为关键特征角点集合Current_right3；步骤八，计算关键特征角点集合Current_left3中的关键特征角点与上一帧关键特征角点集合Last_left中的关键特征角点之间的相关系数，根据计算得到的相关系数对关键特征角点集合Current_left3进行筛选，得到关键特征角点集合Current_left4；计算关键特征角点集合Current_right3中的关键特征角点与上一帧关键特征角点集合Last_right中的关键特征角点之间的相关系数，根据计算得到的相关系数对关键特征角点集合Current_right3进行筛选，得到关键特征角点集合Current_right4；步骤九，若关键特征角点集合Current_left4与关键特征角点集合Current_right4中的关键特征角点数目都为4，则进入步骤三，其中的关键特征角点集合Current_left1和关键特征角点集合Current_right1分别用关键特征角点集合Current_left4和关键特征角点集合Current_right4代替；若关键特征角点集合Current_left4与关键特征角点集合Current_right4中的关键特征角点数目都小于4，进入步骤十；若关键特征角点集合Current_left4中的键特征角点数目小于4，关键特征角点集合Current_right4中的关键特征角点数目等于4，进入步骤十一；若关键特征角点集合Current_left4中的键特征角点数目等于4，关键特征角点集合Current_right4中的关键特征角点数目小于4，进入步骤十二；步骤十，分别在步骤四中得到的本帧左目灰度图像和本帧右目灰度图像中，确定左目目标再搜索区域和右目目标再搜索区域；构建模板图像，基于归一化相关性匹配法，分别在左目目标再搜索区域和右目目标再搜索区域内进行目标搜索，得到重新确定的左目目标灰度图像和重新确定的右目目标灰度图像；分别针对重新确定的左目目标灰度图像和重新确定的右目目标灰度图像，采用亚像素级Shi-Tomasi角点提取方法提取4个关键特征角点，提取到的4个关键特征角点形成关键特征角点集合Current_left5和关键特征角点集合Current_right5；执行步骤三，将其中的关键特征角点集合Current_left本文档来自技高网...

【技术保护点】
基于双目视觉的无人机自主着陆导航信息实时解算方法，其特征在于，包括以下步骤：步骤一，获取包含有目标的双目视觉图像，双目视觉图像包括左目视觉图像和右目视觉图像；分别在左目视觉图像和右目视觉图像中提取目标图像，并对提取出的目标图像进行灰度化处理，分别得到左目目标灰度图像和右目目标灰度图像；步骤二，分别对左目目标灰度图像和右目灰度目标图像，利用亚像素级Shi‑Tomasi角点提取算法进行处理，均得到四个关键特征角点，根据四个关键特征角点的横纵坐标值的大小对四个关键特征角点进行排序，分别形成关键特征角点集合Current_left1和关键特征角点集合Current_right1；步骤三，利用关键特征角点集合Current_left1和关键特征角点集合Current_right1，利用双目视觉原理求取目标中心O在无人机机体坐标系下的三维位置坐标(Xs,Ys,Zs)，利用P4P求解方法求取目标中心O在无人机机体坐标系下的三维位置坐标(XP,YP,ZP)和无人机的姿态信息；求三维位置坐标(Xs,Ys,Zs)和三维位置坐标(XP,YP,ZP)的均值作为最终求得的目标中心O在无人机机体坐标系下的三维位置坐标(X,Y,Z)；步骤四，获取下一帧包含有目标的双目视觉图像，双目视觉图像包括本帧左目视觉图像和本帧右目视觉图像；分别对本帧左目视觉图像和本帧右目视觉图像进行灰度化处理，分别得到本帧左目灰度图像和本帧右目灰度图像；步骤五，将关键特征角点集合Current_left1更新为上一帧关键特征角点集合Last_left，将关键特征角点集合Current_right1更新为上一帧关键特征角点集合Last_right；步骤六，利用金字塔L‑K光流法，基于上一帧关键特征角点集合Last_left和本帧左目灰度图像，预测得到本帧的关键特征角点集合Current_left2；基于上一帧关键特征角点集合Last_left和本帧右目灰度图像，预测得到本帧的关键特征角点集合Current_right2；步骤七，分别针对关键特征角点集合Current_left2和关键特征角点集合Current_right2中的每一个关键特征角点，在以关键特征角点为中心的周围设定区域内，进行亚像素级Shi‑Tomasi角点检测，检测得到新的角点，以检测得到的新的角点替换区域中心位置的关键特征角点，使得关键特征角点集合Current_left2更新为关键特征角点集合Current_left3，使得关键特征角点集合Current_right2更新为关键特征角点集合Current_right3；步骤八，计算关键特征角点集合Current_left3中的关键特征角点与上一帧关键特征角点集合Last_left中的关键特征角点之间的相关系数，根据计算得到的相关系数对关键特征角点集合Current_left3进行筛选，得到关键特征角点集合Current_left4；计算关键特征角点集合Current_right3中的关键特征角点与上一帧关键特征角点集合Last_right中的关键特征角点之间的相关系数，根据计算得到的相关系数对关键特征角点集合Current_right 3进行筛选，得到关键特征角点集合Current_right 4；步骤九，若关键特征角点集合Current_left4与关键特征角点集合Current_right4中的关键特征角点数目都为4，则进入步骤三，其中的关键特征角点集合Current_left1和关键特征角点集合Current_right1分别用关键特征角点集合Current_left4和关键特征角点集合Current_right4代替；若关键特征角点集合Current_left4与关键特征角点集合Current_right4中的关键特征角点数目都小于4，进入步骤十；若关键特征角点集合Current_left4中的键特征角点数目小于4，关键特征角点集合Current_right4中的关键特征角点数目等于4，进入步骤十一；若关键特征角点集合Current_left4中的键特征角点数目等于4，关键特征角点集合Current_right4中的关键特征角点数目小于4，进入步骤十二；步骤十，分别在步骤四中得到的本帧左目灰度图像和本帧右目灰度图像中，确定左目目标再搜索区域和右目目标再搜索区域；构建模板图像，基于归一化相关性匹配法，分别在左目目标再搜索区域和右目目标再搜索区域内进行目标搜索，得到重新确定的左目目标灰度图像和重新确定的右目目标灰度图像；分别针对重新确定的左目目标灰度图像和重新确定的右目目标灰度图像，采用亚像素级Shi‑Tomasi角点提取方法提取4个关键特征角点，提取到的4个关键特征角点形成关键特征角点集合Current_left5和关键特征角点集合Current_right5；...

【技术特征摘要】
1.基于双目视觉的无人机自主着陆导航信息实时解算方法，其特征在于，包括以下步骤：步骤一，获取包含有目标的双目视觉图像，双目视觉图像包括左目视觉图像和右目视觉图像；分别在左目视觉图像和右目视觉图像中提取目标图像，并对提取出的目标图像进行灰度化处理，分别得到左目目标灰度图像和右目目标灰度图像；步骤二，分别对左目目标灰度图像和右目灰度目标图像，利用亚像素级Shi-Tomasi角点提取算法进行处理，均得到四个关键特征角点，根据四个关键特征角点的横纵坐标值的大小对四个关键特征角点进行排序，分别形成关键特征角点集合Current_left1和关键特征角点集合Current_right1；步骤三，利用关键特征角点集合Current_left1和关键特征角点集合Current_right1，利用双目视觉原理求取目标中心O在无人机机体坐标系下的三维位置坐标(Xs,Ys,Zs)，利用P4P求解方法求取目标中心O在无人机机体坐标系下的三维位置坐标(XP,YP,ZP)和无人机的姿态信息；求三维位置坐标(Xs,Ys,Zs)和三维位置坐标(XP,YP,ZP)的均值作为最终求得的目标中心O在无人机机体坐标系下的三维位置坐标(X,Y,Z)；步骤四，获取下一帧包含有目标的双目视觉图像，双目视觉图像包括本帧左目视觉图像和本帧右目视觉图像；分别对本帧左目视觉图像和本帧右目视觉图像进行灰度化处理，分别得到本帧左目灰度图像和本帧右目灰度图像；步骤五，将关键特征角点集合Current_left1更新为上一帧关键特征角点集合Last_left，将关键特征角点集合Current_right1更新为上一帧关键特征角点集合Last_right；步骤六，利用金字塔L-K光流法，基于上一帧关键特征角点集合Last_left和本帧左目灰度图像，预测得到本帧的关键特征角点集合Current_left2；基于上一帧关键特征角点集合Last_left和本帧右目灰度图像，预测得到本帧的关键特征角点集合Current_right2；步骤七，分别针对关键特征角点集合Current_left2和关键特征角点集合Current_right2中的每一个关键特征角点，在以关键特征角点为中心的周围设定区域内，进行亚像素级Shi-Tomasi角点检测，检测得到新的角点，以检测得到的新的角点替换区域中心位置的关键特征角点，使得关键特征角点集合Current_left2更新为关键特征角点集合Current_left3，使得关键特征角点集合Current_right2更新为关键特征角点集合Current_right3；步骤八，计算关键特征角点集合Current_left3中的关键特征角点与上一帧关键特征角点集合Last_left中的关键特征角点之间的相关系数，根据计算得到的相关系数对关键特征角点集合Current_left3进行筛选，得到关键特征角点集合Current_left4；计算关键特征角点集合Current_right3中的关键特征角点与上一帧关键特征角点集合Last_right中的关键特征角点之间的相关系数，根据计算得到的相关系数对关键特征角点集合Current_right3进行筛选，得到关键特征角点集合Current_right4；步骤九，若关键特征角点集合Current_left4与关键特征角点集合Current_right4中的关键特征角点数目都为4，则进入步骤三，其中的关键特征角点集合Current_left1和关键特征角点集合Current_right1分别用关键特征角点集合Current_left4和关键特征角点集合Current_right4代替；若关键特征角点集合Current_left4与关键特征角点集合Current_right4中的关键特征角点数目都小于4，进入步骤十；若关键特征角点集合Current_left4中的键特征角点数目小于4，关键特征角点集合Current_right4中的关键特征角点数目等于4，进入步骤十一；若关键特征角点集合Current_left4中的键特征角点数目等于4，关键特征角点集合Current_right4中的关键特征角点数目小于4，进入步骤十二；步骤十，分别在步骤四中得到的本帧左目灰度图像和本帧右目灰度图像中，确定左目目标再搜索区域和右目目标再搜索区域；构建模板图像，基于归一化相关性匹配法，分别在左目目标再搜索区域和右目目标再搜索区域内进行目标搜索，得到重新确定的左目目标灰度图像和重新确定的右目目标灰度图像；分别针对重新确定的左目目标灰度图像和重新确定的右目目标灰度图像，采用亚像素级Shi-Tomasi角点提取方法提取4个关键特征角点，提取到的4个关键特征角点形成关键特征角点集合Current_left5和关键特征角点集合Current_right5；执行步骤三，将其中的关键特征角点集合Current_left1和关键特征角点集合Current_right1分别用键特征角点集合Current_left5和关键特征角点集合Current_right5代替；步骤十一，在步骤四中得到的本帧左目灰度图像中，确定左目目标再搜索区域；构建模板图像，基于归一化相关性匹配法，在左目目标再搜索区域内进行目标搜索，得到重新确定的左目目标灰度图像；针对重新确定的左目目标灰度图像，采用亚像素级Shi-Tomasi角点提取方法提取4个关键特征角点，提取到的4个关键特征角点形成关键特征角点集合Current_left5；执行步骤三，将关键特征角点集合Current_left1和关键特征角点集合Current_right1分别用关键特征角点集合Current_left5和关键特征角点集合Current_right4代替；步骤十二，在步骤四中得到的本帧右目灰度图像中，确定右目目标再搜索区域；构建模板图像，基于归一化相关性匹配法，在右目目标再搜索区域内进行目标搜索，得到重新确定的右目目标灰度图像；针对重新确定的右目目标灰度图像，采用亚像素级Shi-Tomasi角点提取方法提取4个关键特征角点，提取到的4个关键特征角点形成关键特征角点集合Current_right5；执行步骤三，将关键特征角点集合Current_left1和关键特征角点集合Current_right1分别用关键特征角点集合Current_left4和关键特征角点集合Current_right5代替。2.如权利要求1所述的基于双目视觉的无人机自主着陆导航信息实时解算方法，其特征在于，所述步骤三中的利用双目视觉原理求取目标中心O在无人机机体坐标系下的三维位置坐标(Xs,Ys,Zs)，具体包括以下步骤：求左目目标灰度图像中目标中心Ol在左目摄像机坐标系下的三维坐标其中，为左目目标灰度图像中目标中心Ol的像素坐标，为关键特征角点集合Current_left1中的关键特征角点角点的像素坐标，dx为图像单个像素对应的实际尺寸，d表示左目摄像机和右目摄像机的视差值，表示左目摄像机的摄像头的光心坐标位置；T为左目摄像机和右目摄像机光心间的直线距离，一般称为基线，f为左目摄像机和右目摄像机的焦距；求右目目标灰度图像中目标中心Ol在右目摄像机坐标系下的三维坐标其中，为右目目标灰度图像中目标中心Or的像素坐标，为关键特征角点集合Current_right1中的关键特征角点角点的像素坐标，表示右目摄像机的摄像头的光心坐标位置；利用旋转矩阵Ml将目标中心Ol在左目摄像机坐标系下的三维坐标变换为目标中心Ol在无人机机体坐标系下的三维坐标利用利用旋转矩阵Mr将目标中心Or在左目摄像机坐标系下的三维坐标变换为目标中心Or在无人机机体坐标系下的三维坐标采用的公式如下：则目标中心O在无人机机体坐标系下的三维位置坐标(Xs,Ys,Zs)为：3.如权利要求1所述的基于双目视觉的无人机自主着陆导航信息实时解算方法，其特征在于，所述步骤三中的利用P4P求解方法求取目标中心O在无人机机体坐标系下的三维位置坐标(XP,YP,ZP)和无人机的姿态信息；具体包括以下步骤：步骤3.2.1：基于张正友标定法对左目摄像机和右目摄像机进行标定，得到左目摄像机的内外参数和右目摄像机的内外参数；步骤3.2.2：基于左目摄像机的内外参数、关键特征角点集合Current_left1中的关键特征角点的像素坐标以及关键特征角点集合Current_left1中的关键特征角点的世界坐标，利...

【专利技术属性】
技术研发人员：李靖，段晓军，刘慧英，陈怀民，陈楸，马晓东，孙景峰，张彦龙，肖奔，许涛，孔峰，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61