一种无人机着陆判断方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种无人机着陆判断方法，包括：获取双目视觉图像并处理双目视觉图像获得深度图；根据深度图中点平面坐标值计算对应的深度值，获得三维坐标值，集合三维坐标值获得待降区域三维点簇坐标集合；根据三维点簇坐标集合获取噪声参数及双目摄像机的灵敏度；根据噪音参数及双目摄像机的灵敏度设定动态阈值；根据待降区域三维点簇坐标集合构建拟合平面；判断待降区域三维点簇坐标集合与拟合平面的平均距离是否小于动态阈值，若是，则待降区域为可降平面。本发明专利技术公开的无人机着陆判断方法实现了由双目视觉引导无人机飞控系统完成无人机的自主着陆，增加了无人机着陆过程的安全性，同时可以缩减无人机的飞控人员，降低无人机运输的成本。

A Method, Device, Equipment and Storage Medium for Unmanned Aerial Vehicle Landing Judgment

The invention discloses a landing judgment method for UAV, which includes: acquiring binocular vision image and processing binocular vision image to obtain depth map; calculating corresponding depth value according to the coordinate value of point plane in depth map to obtain three-dimensional coordinate value, collecting three-dimensional coordinate value to obtain three-dimensional coordinate set of points in the area to be dropped; acquiring noise parameters and binocular camera based on three-dimensional coordinate set of points cluster. Sensitivity of the machine; Setting dynamic threshold according to noise parameters and sensitivity of binocular camera; Constructing fitting plane according to coordinate set of three-dimensional point clusters in the area to be descended; Judging whether the average distance between coordinate set of three-dimensional point clusters and fitting plane in the area to be descended is less than the dynamic threshold, and if so, the area to be descended is a descending plane. The landing judgment method of the unmanned aerial vehicle disclosed in the invention realizes the autonomous landing of the unmanned aerial vehicle guided by binocular vision, increases the safety of the landing process of the unmanned aerial vehicle, reduces the flight control personnel of the unmanned aerial vehicle and reduces the cost of the transportation of the unmanned aerial vehicle.

【技术实现步骤摘要】
一种无人机着陆判断方法、装置、设备及存储介质
本专利技术属于无人机飞行安全控制
，尤其涉及一种基于双目视觉对无人机着陆场是否为平面进行判断的方法，具体涉及一种无人机着陆判断方法、装置、设备及存储介质。
技术介绍
近年来无人机发展迅猛，在军事、公安、农业、航拍等领域应用越来越广泛。由于无人机的行驶路径在空中，不受到地面路况的影响，因此无人机可以广泛的应用到货物运输领域中。尤其对于一些路况极差的山区、以及一些急需件，都可以使用无人机来进行运输。随着无人机技术的发展，使得无人机运货成为可能，但是如果给每台无人机都配备一个操控人员，将极大的增加无人机的运输成本。因此，目前迫切需要研制出自主无人机，自主无人机要求无人机能够实现自主起飞、自主飞行以及自主着陆。在无人机的自主着陆方面，目前已经有一些专利公开了其自主着陆的方法。例如，专利技术号为201710604323.5的专利技术专利，名称为一种自主降落方法，在该专利技术专利中首先将地面进行网格划分，然后利用深度学习方法对地面场景进行分割，再根据分割的结果结合网格的位置，确定无人机可降落点。专利技术号为201710604323.5的专利技术专利公开的自主降落方法可以确定无人机的可降平面，但是因为无法完整的重建出可降落区域内的真实三维场景，因此按照该方法进行自主降落的无人机存在着一定的危险。目前，利用深度学习的方法可以较为准确的确定无人机的可降区域，但是对于可降平面需要进一步地确认可降区域的平整性。可降区域平整性确认是一个涉及到无人机着陆安全所必不可少的过程。目前，采用的方法大多数是基于双目视觉来对平面进行判断，基于双目计算的深度图进行判断。但是目前基于双目获取的深度图进行平面判断的方法存在以下几个技术难点：1.基于双目视觉计算得到的深度图存在大量空洞的问题；2.基于双目视觉计算得到的深度图存在噪声大的问题；3.在纹理不足时，双目得到的深度效果非常差；4.双目视觉在CPU上计算耗时大的问题；5.暂无一个较为合理的三维点簇判断平面的算法；6.基于有噪声的深度图难以判断平面的问题。因此，现在迫切需要研究出一种新型的基于双目视觉对无人机着陆场是否为平面进行判断的方法。通过这种新型的无人机着陆判断方法，改善或解决上述技术难点。
技术实现思路
鉴于现有技术存在的上述缺陷或不足，本专利技术的目的在于提供一种无人机着陆判断方法、装置、设备及存储介质。本专利技术提供的无人机着陆判断方法、装置、设备及存储介质，可以解决目前无人机基于双目视觉对着陆平面进行判断时存在的上述技术难点，实现由双目视觉引导飞控系统完成无人机的自主着陆，增加着陆过程的安全性，同时缩减无人机的飞控人员，降低无人机运输的成本。为实现上述目的，本专利技术一方面，提供一种无人机着陆判断方法，其中包括：获取双目视觉图像并处理所述双目视觉图像获得深度图，其中，所述双目视觉图像包括左目视觉图像和右目视觉图像；根据深度图中点平面坐标值计算对应的深度值，获得三维坐标值，集合所述三维坐标值获得待降区域三维点簇坐标集合；根据所述三维点簇坐标集合计算噪声参数及双目摄像机的灵敏度；根据所述噪音参数及所述双目摄像机的灵敏度设定动态阈值；根据待降区域三维点簇坐标集合构建拟合平面；判断待降区域三维点簇坐标集合与拟合平面的平均距离是否小于动态阈值，若是，则所述待降区域为可降平面。其中，平均距离为所述待降区域三维点簇坐标集合中的每一点与所述拟合平面之间距离的平均值。进一步的，所述点平面坐标值是利用图像检测算法获得深度图中待降区域的点平面坐标值，其中，所述待降区域为利用图像检测算法检测左目摄像机的标识区域，将标识区域映射到所述深度图中所获得的。进一步的，计算所述深度值所依据的公式为：其中，Z为任一点的深度值，xl为任一点在所述左目视觉图像中X轴方向上的坐标值，xr为任一点在所述右目视觉图像中X轴方向上的坐标值，f为焦距值，T为基线值。进一步的，计算所述噪音参数所依据的公式为：P_noise＝N*P_size其中，P_noise为噪音参数，N为系数，P_size为待降区域三维点簇中点的数量。进一步的，计算所述双目摄像机的灵敏度所依据的公式为：其中，sensetivity为灵敏度，Z为深度值，f为焦距值，T为基线值，sz为像元尺寸。进一步的，设定动态阈值所依据的公式为：其中，threshlod为动态阈值，Z为深度值，N为系数，P_size为待降区域三维点簇中点的数量，sensetivity为灵敏度。进一步的，所述根据待降区域三维点簇坐标集合建拟合平面，包括：求解所述待降区域三维点簇坐标集合的坐标平均值，将所述坐标平均值设为中心点坐标值；将所述待降区域三维点簇坐标集合中的每一点的坐标值分别减去所述中心点坐标值，获得坐标差值集合；构建所述坐标差值集合的协方差矩阵；求解所述协方差矩阵的特征值和特征向量，获得最小特征值及最小特征值对应的特征向量；根据所述最小特征值对应的特征向量和所述中心点坐标构建拟合平面。进一步的，获取双目视觉图像并处理所述双目视觉图像获得深度图，包括：对所述左目视觉图像和右目视觉图像进行校正，将所述左目视觉图像和右目视觉图像在水平方向上完成对齐；利用半全局立体匹配算法分别对所述左目视觉图像和所述右目视觉图像进行配准处理，得到从左到右的视差图A和从右到左的视差图B；输入所述视差图A、所述视差图B及所述左目视觉图像，利用后置滤波算法进行滤波处理，对所述视差图A进行空洞填充；利用中值滤波算法对空洞填充后的视差图进行噪音处理，得到深度图。进一步的，所述半全局立体匹配算法采用统一计算设备架(ComputeUnifiedDeviceArchitecture，简称CUDA)版本。进一步的，所述后置滤波算法采用统一计算设备架构(ComputeUnifiedDeviceArchitecture，简称CUDA)版本。本专利技术另一方面，还提供一种无人机着陆判断装置，其中包括：深度图获得单元，配置用于获取双目视觉图像并处理所述双目视觉图像获得深度图，其中，所述双目视觉图像包括左目视觉图像和右目视觉图像；三维点簇坐标集合获取单元，配置用于根据每一点的平面坐标值计算每一点对应的深度值，获得每一点的三维坐标值，集合所述三维坐标值获得待降区域三维点簇坐标集合；噪声参数及灵敏度计算单元，配置用于根据所述三维点簇坐标集合计算噪声参数及双目摄像机的灵敏度；动态阈值设定单元，配置用于根据所述噪音参数及所述双目摄像机的灵敏度设定动态阈值；拟合平面构建单元，配置用于根据待降区域三维点簇坐标集合构建拟合平面；可降平面判断单元，配置用于判断待降区域三维点簇坐标集合与拟合平面的平均距离是否小于动态阈值，若是，则所述待降区域为可降平面。进一步的，所述点平面坐标值是利用图像检测算法获得深度图中待降区域的点平面坐标值，其中，所述待降区域为利用图像检测算法检测左目摄像机的标识区域，将标识区域映射到所述深度图中所获得的。进一步的，计算所述深度值所依据的公式为：其中，Z为任一点的深度值，xl为任一点在所述左目视觉图像中X轴方向上的坐标值，xr为任一点在所述右目视觉图像中X轴方向上的坐标值，f为焦距值，T为基线值。进一步的，计算所述噪音参数所依据的公式为：P_noise＝N*P_size其中，P_noise为噪音参数，N为系本文档来自技高网...

【技术保护点】
1.一种无人机着陆判断方法，其特征在于，包括：获取双目视觉图像并处理所述双目视觉图像获得深度图，其中，所述双目视觉图像包括左目视觉图像和右目视觉图像；根据深度图中点平面坐标值计算对应的深度值，获得三维坐标值，集合所述三维坐标值获得待降区域三维点簇坐标集合；根据所述三维点簇坐标集合计算噪声参数及双目摄像机的灵敏度；根据所述噪音参数及所述双目摄像机的灵敏度设定动态阈值；根据待降区域三维点簇坐标集合构建拟合平面；判断待降区域三维点簇坐标集合与拟合平面的平均距离是否小于动态阈值，若是，则所述待降区域为可降平面。

【技术特征摘要】
1.一种无人机着陆判断方法，其特征在于，包括：获取双目视觉图像并处理所述双目视觉图像获得深度图，其中，所述双目视觉图像包括左目视觉图像和右目视觉图像；根据深度图中点平面坐标值计算对应的深度值，获得三维坐标值，集合所述三维坐标值获得待降区域三维点簇坐标集合；根据所述三维点簇坐标集合计算噪声参数及双目摄像机的灵敏度；根据所述噪音参数及所述双目摄像机的灵敏度设定动态阈值；根据待降区域三维点簇坐标集合构建拟合平面；判断待降区域三维点簇坐标集合与拟合平面的平均距离是否小于动态阈值，若是，则所述待降区域为可降平面。2.根据权利要求1所述的无人机着陆判断方法，其特征在于，所述点平面坐标值是利用图像检测算法获得深度图中待降区域的点平面坐标值，其中，所述待降区域为利用图像检测算法检测左目摄像机的标识区域，将标识区域映射到所述深度图中所获得的。3.根据权利要求1所述的无人机着陆判断方法，其特征在于，计算所述深度值所依据的公式为：其中，Z为任一点的深度值，xl为任一点在所述左目视觉图像中X轴方向上的坐标值，xr为任一点在所述右目视觉图像中X轴方向上的坐标值，f为焦距值，T为基线值。4.根据权利要求1所述的无人机着陆判断方法，其特征在于，计算所述噪音参数所依据的公式为：P_noise＝N*P_size其中，P_noise为噪音参数，N为系数，P_size为待降区域三维点簇中点的数量。5.根据权利要求4所述的无人机着陆判断方法，其特征在于，计算所述双目摄像机的灵敏度所依据的公式为：其中，sensetivity为灵敏度，Z为深度值，f为焦距值，T为基线值，sz为像元尺寸。6.根据权利要求5所述的无人机着陆判断方法，其特征在于，设定动态阈值所依据的公式为：其中，threshlod为动态阈值，Z为深度值，N为系数，P_size为待降区域三维点簇中点的数量，sensetivity为灵敏度。7.根据权利要求1所述的无人机着陆判断装置，其特征在于，所述根据待降区域三维点簇坐标集合构建拟合平面，包括：求解所述待降区域三维点簇坐标集合的坐标平均值，将所述坐标平均值设为中心点坐标值；将所述待降区域三维点簇坐标集合中的每一点的坐标值分别减去所述中心点坐标值，获得坐标差值集合；构建所述坐标差值集合的协方差矩阵；求解所述协方差矩阵的特征值和特征向量，获得最小特征值及最小特征值对应的特征向量；根据所述最小特征值对应的特征向量和所述中心点坐标构建拟合平面。8.根据权利要求1所述的无人机着陆判断方法，其特征在于，获取双目视觉图像并处理所述双目视觉图像获得深度图，包括：对所述左目视觉图像和右目视觉图像进行校正，将所述左目视觉图像和右目视觉图像在水平方向上完成对齐；利用半全局立体匹配算法分别对所述左目视觉图像和所述右目视觉图像进行配准处理，得到从左到右的视差图A和从右到左的视差图B；输入所述视差图A、所述视差图B及所述左目视觉图像，利用后置滤波算法进行滤波处理，对所述视差图A进行空洞填充；利用中值滤波算法对空洞填充后的视差图进行噪音处理，得到深度图。9.根据权利要求8所述的无人机着陆判断方法，其特征在于，所述半全局立体匹配算法采用统一计算设备架(ComputeUnifiedDeviceArchitecture，简称CUDA)版本。10.根据权利要求8所述的无人机着陆判断方法，其特征在于，所述后置滤波算法采用统一计算设备架构(ComputeUnifiedDeviceArchitecture，简称CUDA)版本。11.一种无人机着陆判断装置，其特征在于，包括：深度图获取单元，配置用于获取双目视觉图像并处理所述双目视觉图像获得深度图，其中，所述双目视觉图像包括左目视觉图像和右目视觉图像；三维点簇坐标集合获取单元，配置用于根据深度图中...

【专利技术属性】
技术研发人员：杨小平，宋翔，毛曙源，
申请(专利权)人：顺丰科技有限公司，
类型：发明
国别省市：广东,44