一种基于光流的无人机自动降落引导方法技术

本发明专利技术提出一种基于光流的无人机自动降落引导方法，在降落过程中通过对光流模块的相机拍摄的实时图像进行处理，确定标志物，估计标志物相对无人机的位置和姿态；将相对位置、姿态信息发送给飞行控制器，从而控制无人机逐步逼近降落目标，最终实现无人机全自主降落。由于无人机在自主飞行和降落过程中，使用下视的光流传感器实现自身的定位，所以能够在无GPS情况下完成自身的视觉定位。而且在GPS失效的情况下，使用光流模块进行辅助定位，能够保证无人机准确的找到降落场地，从而提高无人机降落的可靠性，该方法设计合理，能够在不同情况下实现准确降落，适用性广泛。

【技术实现步骤摘要】

本专利技术涉及无人机、机器人自主导航领域，具体为一种基于光流的无人机自动降落引导方法。
技术介绍
近几年，微型无人机由于其体积小、重量轻、隐蔽性好等特点被广泛应用于摄像、监控、侦查、追踪、测绘等各个领域，并开启了无人机技术爆炸的时代。而动态追踪拍摄时微小平台(如汽车顶)回收拍摄装备、快递行业定点投送物品等民用无人机使用的新需求，都对微型无人机的自动降落技术提出了新挑战。基于GPS的自动降落时目前最常用的解决方法，但是这类基于GPS导航的自动降落技术均存在一些不足：1)目前民用GPS定位精度仅能达到10米，对于一些地形复杂的区域，如建筑群密集的城市中心，很有可能由于导航误差造成无人机在低空进近时坠毁；2)GPS信号受非空气介质干扰大，在遮挡物较多的地域(如森林)会造成误差加大甚至信号缺失；3)专业级高精度GPS设备造价高昂，经济性不足。GPS的精度不是特别高，若在偏离降落地点上方时，GPS失效，可能会导致无法降落。通过计算机视觉的方式能够克服GPS定位的缺陷，目前较为常用的方法是光流方法。光流的概念是由Gibson于1950年首提出的，是指空间运动的物体在成像面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到与上一帧之间存在的对应关系，从而计算出相邻帧之间的运动信息的一种方法。它表征了二维图像的灰度变化和场景中物体及其运动的关系，它根据像素灰度的时域变化和相关性确定各个像素的运动速度，因此，可被观察者用来确定目标的运动情况。1981年，Barron等人对多种光流计算技术进行总结，按照理论基础与数学方法的区别把光流计算方法分为四种：基于梯度的方法、基于匹配的方法、基于能量的方法、基于相位的方法。但实际应用过程中，定位有两种：一种为标志物定位，一种是光流定位。目前的无人机着陆系统主要包括设置在无人机上的图像采集模块、图像处理模块和导航参数计算模块。已有的方法有：上海理工大学的夏云龙、魏国亮等人提出了基于声源时延和气压高度传感器的无人机精确降落技术，该项技术在降落点安置声源，在无人机上构造基于全向性驻极体麦克风的正四面体麦克风接收阵列，利用声源时延技术计算无人机的俯仰角和偏航角，再通过无人机上安装的气压高度传感器感知无人机的高度，从而精确引导无人机降落。但声源时延方法仍会受到环境干扰。在审中的专利技术专利“针对小型无人机自主降落的视觉分级地标定位识别方法”，利用GPS将无人机导航到降落场地上方，然后通过视觉分级地标定位识别，对机载摄像头获取的图像进行处理，给出降落地标的地位信息。该方法还是需要依赖GPS。
技术实现思路
为解决现有技术存在的问题，本专利技术提出了一种基于光流的无人机自动降落引导方法，其特点是：在无人机接收到降落指令时，在GPS引导无人机飞往降落场上方数米大概位置的过程中，若GPS失效，则利用本专利技术的基于光流的辅助定位方法，使无人机可以找到降落场，进行降落。为了实现上述任务，本专利技术的技术方案为：所述一种基于光流的无人机自动降落引导方法，其特征在于：包括以下步骤：步骤1：无人机根据自身飞行高度判断是否需要降低飞行高度，以满足无人机机载相机清晰拍摄降落场地图像要求；当无人机飞行高度满足要求后，无人机机载相机持续拍摄降落场地图像，并将拍摄的图像转换为灰度图；步骤2：根据相邻两帧灰度图像，利用以下方法得到光流场方向和速度：利用SAD算法对相邻两帧灰度图像进行匹配，以N*N的像素区域作为研究区域，选择若干对研究区域中匹配度最好的一对研究区域；再对得到的该对匹配度最好的研究区域中的每对对应像素点的位置作矢量运算，得到像素点的运动方向，对所有像素点的运动方向进行统计，将统计值最大的运动方向作为光流场方向；在相机坐标系下的光流场速度vx及vy利用以下公式得到：vx=Tzx-TxfZ-ωyf+ωzy]]>vy=Tzy-TyfZ+ωxf-ωzx]]>其中：Tx、Ty、Tz为世界坐标系下，相邻两帧灰度图像中运动方向为光流场方向的匹配像素点p的运动平移分量，所述世界坐标系以降落场所所在平面作为XY平面，垂直该平面的轴为Z轴；x、y为像平面上的点p在相机坐标系下的坐标，Z为相机成像平面距离降落点的垂直高度，f为相机焦距，ωx、ωy、ωz为点p的运动角速度；步骤3：根据步骤2得到的光流场方向和速度确定无人机的运动方向和速度，其中无人机的运动方向与光流场方向相反，无人机在世界坐标系下的速度Vx、Vy根据以下公式得到：Vx=vxfZ]]>Vy=vyfZ]]>无人机按照确定的运动方向和速度飞行；步骤4：循环进行步骤2和步骤3，直至无人机机载相机拍摄的图像中出现降落场地地标，进入步骤5；步骤5：所述降落场地地标包括外部标记和内部标记；所述内部标记嵌套在外部标记内；当无人机机载相机拍摄图像出现清晰完整外部标记时，无人机进入第一进近域，无人机机载相机持续拍摄图像，根据图像中的外部标记确定无人机降落场地方位和无人机的位姿，调整无人机的飞行方向；无人机根据得到的飞行方向减速下降飞行；当无人机机载相机拍摄图像出现清晰完整内部标记时，无人机进入第二进近域，无人机机载相机持续拍摄图像，根据图像中的内部标记确定无人机降落场地方位和无人机的位姿，调整无人机的飞行方向；无人机根据得到的飞行方向减速降落。所述一种基于光流的无人机自动降落引导方法，其特征在于：包括以下步骤：步骤1：无人机根据自身飞行高度判断是否需要降低飞行高度，以满足无人机机载相机清晰拍摄降落场地图像要求；当无人机飞行高度满足要求后，无人机机载相机持续拍摄降落场地图像，并将拍摄的图像转换为灰度图；步骤2：根据相邻两帧灰度图像，利用以下方法得到光流场方向和速度：利用SAD算法对相邻两帧灰度图像进行匹配，以N*N的像素区域作为研究区域，选择若干对研究区域中匹配度最好的一对研究区域；再对得到的该对匹配度最好的研究区域中的每对对应像素点的位置作矢量运算，得到像素点的运动方向，对所有像素点的运动方向进行统计，将统计值最大的运动方向作为光流场方向；在相机坐标系下的光流场速度vx及vy利用以下公式得到：vx=Tzx-TxfZ-ωyf+ωzy]]>vy=Tzy-TyfZ+ωzf-ωzx]]>其中：Tx、Ty、Tz为世界坐标系下，相邻两帧灰度图像中运动方向为光流场方向的匹配像素点p的运动平移分量，所述世界坐标系以降落场所所在平面作为XY平面，垂直该平面的轴为Z轴；x、y为像平面上的点p在相机坐标系下的坐标，Z为相机成像平面距离降落点的垂直高度，f为相机焦距，ωx、ωy、ωz为点p的运动角速度；步骤3：根据步骤2得到的光流场方向和速度确定无人机的运动方向和速度，其中无人机的运动方向与光流场方向相反，无人机在世界坐标系下的速度Vx、Vy根据以下公式得到：Vx=vxfZ]]>Vy=vyfZ]]>无人机按照确定的运动方向和速度飞行；步骤4：以步骤3确定的运动方向为初始方向，以阿基米德螺旋线为飞行轨迹进行飞行，直至无人机机载相机拍摄的图像中出现降落场地地标，进入步骤5；步骤5：所述降落场地地标包括外部标记和内部标记；所述内部标记嵌套在外部标记内；当无人机机载相机拍摄图像出现清晰完整本文档来自技高网...

【技术保护点】
一种基于光流的无人机自动降落引导方法，其特征在于：包括以下步骤：步骤1：无人机根据自身飞行高度判断是否需要降低飞行高度，以满足无人机机载相机清晰拍摄降落场地图像要求；当无人机飞行高度满足要求后，无人机机载相机持续拍摄降落场地图像，并将拍摄的图像转换为灰度图；步骤2：根据相邻两帧灰度图像，利用以下方法得到光流场方向和速度：利用SAD算法对相邻两帧灰度图像进行匹配，以n*n的像素区域作为研究区域，选择若干对研究区域中匹配度最好的一对研究区域；再对得到的该对匹配度最好的研究区域中的每对对应像素点的位置作矢量运算，得到像素点的运动方向，对所有像素点的运动方向进行统计，将统计值最大的运动方向作为光流场方向；在相机坐标系下的光流场速度vx及vy利用以下公式得到：vx=Tzx-TxfZ-ωyf+ωzy]]>vy=Tzy-TyfZ+ωxf-ωzx]]>其中：Tx、Ty、Tz为世界坐标系下，相邻两帧灰度图像中运动方向为光流场方向的匹配像素点p的运动平移分量，所述世界坐标系以降落场所所在平面作为XY平面，垂直该平面的轴为Z轴；x、y为像平面上的点p在相机坐标系下的坐标，Z为相机成像平面距离降落点的垂直高度，f为相机焦距，ωx、ωy、ωz为点p的运动角速度；步骤3：根据步骤2得到的光流场方向和速度确定无人机的运动方向和速度，其中无人机的运动方向与光流场方向相反，无人机在世界坐标系下的速度Vx、Vy根据以下公式得到：Vx=vxfZ]]>Vy=vyfZ]]>无人机按照确定的运动方向和速度飞行；步骤4：循环进行步骤2和步骤3，直至无人机机载相机拍摄的图像中出现降落场地地标，进入步骤5；步骤5：所述降落场地地标包括外部标记和内部标记；所述内部标记嵌套在外部标记内；当无人机机载相机拍摄图像出现清晰完整外部标记时，无人机进入第一进近域，无人机机载相机持续拍摄图像，根据图像中的外部标记确定无人机降落场地方位和无人机的位姿，调整无人机的飞行方向；无人机根据得到的飞行方向减速下降飞行；当无人机机载相机拍摄图像出现清晰完整内部标记时，无人机进入第二进近域，无人机机载相机持续拍摄图像，根据图像中的内部标记确定无人机降落场地方位和无人机的位姿，调整无人机的飞行方向；无人机根据得到的飞行方向减速降落。...

【技术特征摘要】
1.一种基于光流的无人机自动降落引导方法，其特征在于：包括以下步骤：步骤1：无人机根据自身飞行高度判断是否需要降低飞行高度，以满足无人机机载相机清晰拍摄降落场地图像要求；当无人机飞行高度满足要求后，无人机机载相机持续拍摄降落场地图像，并将拍摄的图像转换为灰度图；步骤2：根据相邻两帧灰度图像，利用以下方法得到光流场方向和速度：利用SAD算法对相邻两帧灰度图像进行匹配，以n*n的像素区域作为研究区域，选择若干对研究区域中匹配度最好的一对研究区域；再对得到的该对匹配度最好的研究区域中的每对对应像素点的位置作矢量运算，得到像素点的运动方向，对所有像素点的运动方向进行统计，将统计值最大的运动方向作为光流场方向；在相机坐标系下的光流场速度vx及vy利用以下公式得到：vx=Tzx-TxfZ-ωyf+ωzy]]>vy=Tzy-TyfZ+ωxf-ωzx]]>其中：Tx、Ty、Tz为世界坐标系下，相邻两帧灰度图像中运动方向为光流场方向的匹配像素点p的运动平移分量，所述世界坐标系以降落场所所在平面作为XY平面，垂直该平面的轴为Z轴；x、y为像平面上的点p在相机坐标系下的坐标，Z为相机成像平面距离降落点的垂直高度，f为相机焦距，ωx、ωy、ωz为点p的运动角速度；步骤3：根据步骤2得到的光流场方向和速度确定无人机的运动方向和速度，其中无人机的运动方向与光流场方向相反，无人机在世界坐标系下的速度Vx、Vy根据以下公式得到：Vx=vxfZ]]>Vy=vyfZ]]>无人机按照确定的运动方向和速度飞行；步骤4：循环进行步骤2和步骤3，直至无人机机载相机拍摄的图像中出现降落场地地标，进入步骤5；步骤5：所述降落场地地标包括外部标记和内部标记；所述内部标记嵌套在外部标记内；当无人机机载相机拍摄图像出现清晰完整外部标记时，无人机进入第一进近域，无人机机载相机持续拍摄图像，根据图像中的外部标记确定无人机降落场地方位和无人机的位姿，调整无人机的飞行方向；无人机根据得到的飞行方向减速下降飞行；当无人机机载相机拍摄图像出现清晰完整内部标记时，无人机进入第二进近域，无人机机载相机持续拍摄图像，根据图像中的内部标记确定无人机降落场地方位和无人机的位姿，调整无人机的飞行方向；无人机根据得到的飞行方向减速降落。2.一种基于光流的无人机自动降落引导方法，其特征在于：包括以下步骤：步骤1：无人机根据自身飞行高度判断是否需要降低飞行高度，以满足无人机机载相机清晰拍摄降落场地图像要求；当无人机飞行高度满足要求后，无人机机载相机持续拍摄降落场地图像，并将拍摄的图像转换为灰度图；步骤2：根据相邻两帧灰度图像，利用以下方法得到光流场方向和速度：利用SAD算法对相邻两帧灰度图像进行匹配，以n*n的像素区域作为研究区域，选择若干对研究区域中匹配度最好的一对研究区域；再对得到的该对匹配度最好的研究区域中的每对对应像素点的位置作矢量运算，得到像素点的运动方向，对所有像素点的运动方向进行统计，将统计值最大的运动方向作为光流场方向；在相机坐标系下的光流场速度vx及vy利用以下公式得到：vx=Tzx-TxfZ-ωyf+ωzy]]>vy=Tzy-TyfZ+ωxf-ωzx]]>其中：Tx、Ty、Tz为世界坐标系下，相邻两帧灰度图像中运动方向为光流场方向的匹配像素点p的运动平移分量，所述世界坐标系以降落场所所在平面作为XY平面，垂直该平面的轴为Z轴；x、y为像平面上的点p在相机坐标系下的坐标，Z为相机成像平面距离降落点的垂直高度，f为相机焦距，ωx、ωy、ωz为点p的运动角速度；步骤3：根据步骤2得到的光流场方向和速度确定无人机的运动方向和速度，其中无人机的运动方向与光流场方向相反，无人机在世界坐标系下的速度Vx、Vy根据以下公式得到：Vx=vxfZ]]>Vy=vyfZ]]>无人机按照确定的运动方向和速度飞行；步骤4：以步骤3确定的运动方向为初始方向，以阿基米德螺旋线为飞行轨迹进行飞行，直至无人机机载相机拍摄的图像中出现降落场地地标，进入步骤5；步骤5：所述降落场地地标包括外部标记和内部标记；所述内部标记嵌套在外部标记内；当无人机机载相机拍摄图像出现清晰完整外部标记时，无人机进入第一进近域，无人机机载相机持续拍摄图像，根据图像中的外部标记确定无人机降落场地方位和无人机的位姿，调整无人机的飞行方向，无人机根据得到的飞行方向减速下降飞行；当无人机机载相机拍摄图像出现清晰完整内部标记时，无人机进入第二进近域，无人机机载相机持续拍摄图像，根据图像中的内部标记确定无人机降落场地方位和无人机的位姿，调整无人机的飞行方向；无人机根据得到的飞行方向减速降落。3.根据权利要求1或2所述一种基于光流的无人机自动降落引导方法，其特征在于：所述外部标记为由N*N个完全相同的方格构成的正方形区域；外部标记的最外圈方格区域为黑色，其余的方格区域为黑色或白色；内部标记为由N*N个完全相同的方格构成的正方形区域，且内部标记嵌套在外部标记内；内部标记的最外圈方格区域为黑色，其余的方格区域为黑色或...

【专利技术属性】
技术研发人员：布树辉，杨君，赵勇，张臻炜，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61