基于分层码标的无人机降落方法、装置、设备以及可读存储介质制造方法及图纸

本发明专利技术涉及一种基于分层码标的无人机的降落方法，包括：获取分层码标的图像信息；提取所述图像信息中的子码；统计从所述图像信息中提取到的所述子码的数量；若提取到的所述子码的数量为一个，根据所述子码获得无人机的第一位姿；根据第一位姿执行降落操作。上述无人机的降落方法，当码标无法完整呈现在设备视野内的情况下，会提取码标中的子码信息，相对于码标，子码可以在更近距离被无人机识别，从而使无人机能够根据子码信息进行位姿估计，并引导无人机成功降落。本发明专利技术还涉及一种基于分层码标的无人机的降落装置、设备以及可读存储介质。

Unmanned Aerial Vehicle Landing Method, Device, Equipment and Readable Storage Media Based on Layered Code Marker

The present invention relates to a landing method for UAV based on layered codes, which includes: acquiring image information of layered codes; extracting sub-codes in the image information; counting the number of sub-codes extracted from the image information; if the number of sub-codes extracted is one, obtaining the first posture of UAV according to the sub-codes; and performing landing according to the first posture. Operation. The landing method of the UAV mentioned above will extract the sub-code information of the code mark when the code mark can not be completely presented in the view of the equipment. Compared with the code mark, the sub-code can be recognized by the UAV at a closer distance, so that the UAV can estimate its position and attitude based on the sub-code information and guide the UAV to land successfully. The invention also relates to a landing device, equipment and readable storage medium of an unmanned aerial vehicle based on a layered code mark.

【技术实现步骤摘要】
基于分层码标的无人机降落方法、装置、设备以及可读存储介质
本专利技术涉及无人机领域，特别涉及无人机的降落方法、装置、设备以及可读存储介质。
技术介绍
现在，无人机被广泛应用于各个领域，特别是被用来执行海上任务。所以，无人机的可靠性，尤其是其着陆方法与装置的可靠性，非常具有研究价值和商业价值。在一种现有技术中，无人机首先使用全球定位系统(GPS)和惯性测量单元(IMUs)进行位姿估计，然后根据位姿估计结果进行着陆。但是这种技术容易受到环境因素的制约并且可靠性较差。而基于视觉目标的着陆方法，相对而言具有无源性、精度高、可应用场景多等优点，从而成为无人机着陆方法中一个重要的研究方向。相比于其他的基于视觉目标的位姿检测方法，基于增强现实码标签的检测系统由于视觉目标为黑白两色并且具有的固定编码方式，从而更为鲁棒、检测效率更高。基于普通增强现实码标签的无人机着陆系统(如西班牙的科尔多瓦大学设计的ArUco，美国麻省理工学院设计的AprilTags等)在图像采集设备与码标之间距离足够大时可以良好运行。而在无人机着陆方法中，无人机不可避免的接近码标。由于普通视觉采集设备具有固定的视野范围，当图像采集设备与码标的距离较小时，码标无法完整的呈现在图像采集设备视野内，导致该码标无法被检测出来，从而造成位姿估计的失效。而当无人机在距离地面很近的地方丢失自身位姿估计时，着陆系统无法根据位姿估计信息来进行必要的调整，很可能会导致失控而坠毁。
技术实现思路
基于此，有必要针对在码标无法完整呈现在设备视野内的情况下会导致检测目标丢失以及位姿估计失效的问题，提供一种在设备不能完整捕捉到码标时，也能识别检测目标以及进行位姿估计，并引导无人机成功降落的方法、装置、设备以及可读存储介质。一种基于分层码标的无人机的降落方法，其中，所述分层码标包括母码，所述母码中设置有子码，所述降落方法包括：获取分层码标的图像信息；提取所述图像信息中的子码；统计从所述图像信息中提取到的所述子码的数量；若提取到的所述子码的数量为一个，则根据所述子码获得无人机的第一位姿；根据第一位姿执行降落操作。上述无人机的降落方法，当码标无法完整呈现在设备视野内的情况下，会提取码标中的子码信息，相对于码标，子码可以在更近距离被无人机识别，从而使无人机能够根据子码信息进行位姿估计，并引导无人机成功降落。作为一种实施例，其中，若提取到的所述子码的数量大于一个，则所述方法还包括：根据各个所述子码，获取与每一个子码对应的权重值以及与每一个子码对应的第二位姿；根据各个权重值以及各个第二位姿获取第二位姿的加权平均值；根据所述第二位姿的加权平均值执行降落操作。作为一种实施例，其中，所述子码包括子码识别区；所述在所述图像信息中提取子码的步骤包括：根据预设图形，在所述图像信息中获取所述图像信息中的待变换图形；将所述待变换图形做视角变换，转换成待识别图形；分割所述待识别图形，得到边框区域及中心区域；将所述边框区域与子码识别区进行比对，若比对成功，则提取所述边框区域对应的待识别图形作为所述子码。作为一种实施例，其中，所述提取所述图像信息中的子码的步骤包括：采用边缘提取算法处理所述图像信息，获得边缘二值图像；对所述边缘二值图像降噪，获得二值图片；根据所述预设图形，对所述二值图片进行图形拟合，获得所述待变换图形。作为一种实施例，其中，所述根据所述子码获得第一位姿的步骤包括：根据所述待变换图形与所述预设图形的变换关系获得无人机的六自由度姿态信息；根据所述子码获取与所述子码对应的坐标关系矩阵；根据所述六自由度姿态信息以及所述坐标关系矩阵获得所述第一位姿。作为一种实施例，其中，所述在所述图像信息中提取子码的步骤之前包括：判断无人机的飞行高度是否大于预设的高度阈值；若否，则继续执行所述在所述图像信息中提取子码的步骤；若是，则在所述图像信息中提取所述母码；根据所述母码获得第三位姿；根据所述第三位姿进行降落操作。一种基于分层码标的无人机的降落装置，其中，所述分层码标包括母码，所述母码中设置有子码，所述降落装置包括：图像获取模块，用于获取分层码标的图像信息；子码提取模块，用于提取所述图像信息中的子码；子码统计模块，用于统计从所述图像信息中提取到的所述子码的数量；若提取到的所述子码的数量为一个，则所述装置还包括，第一位姿获取模块，根据所述子码获得无人机的第一位姿；第一降落模块，用于根据第一位姿执行降落操作。上述无人机的降落装置，当码标无法完整呈现在设备视野内的情况下，会提取码标中的子码信息，相对于码标，子码可以在更近距离被无人机识别，从而使无人机能够根据子码信息进行位姿估计，并引导无人机成功降落作为一种实施例，其中，若提取到的所述子码的数量大于一个，所述装置还包括：第二位姿获取模块，用于根据各个所述子码，获取与每一个子码对应的权重值以及对应的第二位姿；平均值获取模块，用于根据各个权重值以及各个第二位姿获取第二位姿的加权平均值；第二降落模块，用于根据所述第二位姿的加权平均值执行降落操作。作为一种实施例，其中，所述子码包括子码识别区；所述子码提取模块包括：图形提取单元，用于根据预设图形，在所述图像信息中获取所述图像信息中的待变换图形；视角变换单元，用于将所述待变换图形做视角变换，转换成待识别图形；图形分割单元，用于分割所述待识别图形，得到边框区域及中心区域；图形比对单元，用于将所述边框区域与子码识别区进行比对，若比对成功，则提取所述边框区域对应的待识别图形作为所述子码。作为一种实施例，其中，所述图像提取单元包括：边缘二值图像获取单元，用于采用边缘提取算法处理所述图像信息，获得边缘二值图像；图像降噪单元，用于对所述边缘二值图像降噪，获得二值图片；图形拟合单元，对所述二值图片进行图形拟合，获得所述待变换图形。作为一种实施例，其中，所述根据所述第一位姿获取模块包括：姿态获取单元，用于根据所述待变换图形与所述预设图形的变换关系获得无人机的六自由度姿态信息；母码获取单元，用于根据所述子码获取与所述子码对应的坐标关系矩阵；第一位姿获取单元，用于根据所述六自由度姿态信息以及所述坐标关系矩阵获得所述第一位姿。作为一种实施例，其中，在所述子码提取模块之前，所述装置还包括：阈值判断模块，用于判断无人机的飞行高度是否大于预设的高度阈值；若否，则继续由所述子码提取模块执行所述在所述图像信息中提取子码的步骤；若是，则所述装置还包括，母码提取模块，用于在所述图像信息中提取所述母码；第三位姿获取模块，用于根据所述母码获得第三位姿；第三位姿降落模块，用于根据所述第三位姿进行降落操作。一种计算机设备，包括处理器、存储器以及存储在存储器上的计算机指令，其中，所述计算机指令在被所述处理器执行时实现的方法包括以下步骤：获取分层码标的图像信息；提取所述图像信息中的子码；统计从所述图像信息中提取到的所述子码的数量；若提取到的所述子码的数量为一个，则根据所述子码获得无人机的第一位姿；根据第一位姿执行降落操作。上述计算机设备，处理器在处理存储器中存储的计算机指令时，可以实现当码标无法完整呈现在设备视野内的情况下，提取码标中的子码信息，相对于码标，子码可以在更近距离被无人机识别，从而使无人机能够根据子码信息进行位姿估计，并引导无人机成功降落。作为一种实施例，其中，处本文档来自技高网...

【技术保护点】
1.一种基于分层码标的无人机的降落方法，其特征在于，所述分层码标包括母码，所述母码中设置有子码，所述降落方法包括：获取分层码标的图像信息；提取所述图像信息中的子码；统计从所述图像信息中提取到的所述子码的数量；若提取到的所述子码的数量为一个，则根据所述子码获得无人机的第一位姿；根据所述第一位姿执行降落操作。

【技术特征摘要】
1.一种基于分层码标的无人机的降落方法，其特征在于，所述分层码标包括母码，所述母码中设置有子码，所述降落方法包括：获取分层码标的图像信息；提取所述图像信息中的子码；统计从所述图像信息中提取到的所述子码的数量；若提取到的所述子码的数量为一个，则根据所述子码获得无人机的第一位姿；根据所述第一位姿执行降落操作。2.根据权利要求1所述的降落方法，其特征在于，若提取到的所述子码的数量大于一个，则所述方法还包括：根据各个所述子码，获取与每一个子码对应的权重值以及与每一个子码对应的第二位姿；根据各个权重值以及各个第二位姿获取第二位姿的加权平均值；根据所述第二位姿的加权平均值执行降落操作。3.根据权利要求1所述的降落方法，其特征在于，所述子码包括子码识别区；所述提取所述图像信息中的子码的步骤包括：根据预设图形，在所述图像信息中获取所述图像信息中的待变换图形；将所述待变换图形做视角变换，转换成待识别图形；分割所述待识别图形，得到边框区域及中心区域；将所述边框区域与子码识别区进行比对，若比对成功，则提取所述边框区域对应的待识别图形作为所述子码。4.根据权利要求3所述的降落方法，其特征在于，所述提取所述图像信息中的待变换图形的步骤包括：采用边缘提取算法处理所述图像信息，获得边缘二值图像；对所述边缘二值图像降噪，获得二值图片；根据所述预设图形，对所述二值图片进行图形拟合，获得所述待变换图形。5.根据权利要求3所述的降落方法，其特征在于，所述根据所述子码获得第一位姿的步骤包括：根据所述待变换图形与所述预设图形的变换关系获得无人机的六自由度姿态信息；根据所述子码获取与所述子码对应的坐标关系矩阵；根据所述六自由度姿态信息以及所述坐标关系矩阵获得所述第一位姿。6.根据权利要求1所述的降落方法，其特征在于，所述在所述图像信息中提取子码的步骤之前包括：判断无人机的飞行高度是否大于预设的高度阈值；若否，则继续执行所述在所述图像信息中提取子码的步骤；若是，则在所述图像信息中提取所述母码；根据所述母码获得第三位姿；根据所述第三位姿进行降落操作。7.一种基于分层码标的无人机的降落装置，其特征在于，所述分层码标包括母码，所述母码中设置有子码，所述降落装置包括：图像获取模块，用于获取分层码标的图像信息；子码提取模块，用于提取所述图像信息中的子码；子码统计模块，用于统计从所述图像信息中提取到的所述子码的数量；若提取到的所述子码的数量为一个，则所述装置还包括，第一位姿获取模块，根据所述子码获...

【专利技术属性】
技术研发人员：钟宜生，陆耿，石宗英，王昊，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11