一种用于可垂直降落无人机视觉引导降落方法技术

一种用于可垂直降落无人机视觉引导降落方法，属于无人机降落控制的技术领域，本发明专利技术在有特定降落标志的情况下，能够较为准确的获取无人机高度信息，解决没有安装高精度高度传感器的无人机因为高度信息不准确导致提前执行降落和落地后未执行降落导致无人机不停螺旋桨等动力装置导致的安全问题，提出使用视觉反推无人机高度，二维码识别提速，无人机机头调整，降落点偏移计算等方式，通过无人机图像信息实现了整个的降落过程的高效便捷。信息实现了整个的降落过程的高效便捷。信息实现了整个的降落过程的高效便捷。

【技术实现步骤摘要】
一种用于可垂直降落无人机视觉引导降落方法


[0001]本专利技术公开一种用于可垂直降落无人机视觉引导降落方法，属于无人机降落控制的


技术介绍

[0002]可垂直降落无人机是无人机的一种类型，其特征是可以垂直的起降，不需要额外的跑道等场地。利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，或者由车载计算机完全地或间歇地自主地操作。无人机的精准降落通常是指无人机在返航降落完成后，需要降落指定地点。
[0003]可垂直降落无人机无人机的降落方案主要包括GPS或RTK定位，视觉引导降落，地面端通信引导方式，近距离传感器引导降落等。GPS的误差通常较大，虽然在GPS等基础上有RTK定位模块，但仍然容易受物理等信号干扰影响，导致精度出现偶发性的偏差；基于视觉引导降落方式是一种比较好的解决方案，但由于视觉获得的为可见光照片，导致在光线环境恶劣如强光、黑夜、无人机大面积阴影等影响的情况下，降落精度依然无法达到理想效果；地面端通信引导方式受限于通信距离的影响，容易距离、信号强度等条件的影响；近距离传感器引导降落通常在降落的最后阶段，通过机巢上的近距离传感器，将无人机引导至机巢中，但是受距离限制，在较高高度无法使用，而且需要在机巢等设备上加装额外传感器。
[0004]可垂直降落无人机的高度信息在降落中较为重要，牵扯到无人机在合适的高度执行降落，高度的正确能够保证无人机能否正确降落，否则无人机可能会在高空执行降落或已经在机巢或降落标志上还未执行降落进而造成无人机损坏以及人员财产损失。而无人机常见的可用的高度信息包括超声波传感器，红外传感器，气压传感器，惯导设备，GPS等设备，但是通常无人机的高度信息偶尔会存在较大偏差，其中GPS等设备由于定位误差和信号等原因，高度信息不准确；惯导设备随着无人机飞行时间增加，误差会越来越大；气压传感器在天气条件变化后数据存在不准确，而且在高度变化较小的范围内，气压变化十分微小，无法准确获取高度信息；超声波和红外等传感器受限于设备精度和距离，随着距离增加，高度信息准确度快速下降。而无人机图像可以依据先验信息获取较为准确的高度信息。
[0005]中国专利文献CN114740900B使用激光测距传感器、GPS和视觉融合定位方法使无人机降落，使用光流信息定位无人机位置，需要无人机搭载额外的激光测距传感器辅助无人机获取高度，且使用光流法定位虽然速度较快，但定位精度存在误差，不如单帧检测精度高。
[0006]中国专利文献CN114415736B使用特殊的降落标志，包括圆形三角形等，通过明显的特征轮廓信息检测，导致在环境复杂的场景下，出现较多的错误识别，而且受其降落标志设计约束，其降落点只能在中心，无法做到降落点的灵活选取。
[0007]中国专利文献CN113052151B使用深度学习方法识别降落标志，使用神经网络等复杂的模型算法需要对无人机的计算能力有一定的要求，通常无法在通用计算处理器CPU上
计算，不适用于小型或简易无人机降落。
[0008]中国专利文献CN113110587B使用RTK差分定位、UWB超宽带定位和超声波定位等传感器作为无人机降落的主要装置，需要安装大量的设备而且装置之间的配合较为复杂。
[0009]中国专利文献CN115857519A公开一种基于视觉定位的无人机曲面平台自主降落方法，提出的是一种基于任意规则表面，尤其是圆锥曲面，布置多个视觉基准标签，视觉基准标签的类型可以是apriltag二维码标签，通过无人机上的视觉检测模块检测出二维码标签的角点坐标信息，换算出中心点坐标，最后通过优化算法，进行多二维码信息融合，得出最优解坐标，在摆脱降落平台表面形状限制的同时，具备更高的定位鲁棒性。此外，在远处，apriltag检测失效的情况下，利用色环检测，达到定位的目的，是一种相对更高鲁棒的融合定位算法。
[0010]中国专利文献CN115933731A提供了一种单个二维码引导的无人机精准降落方法，属于无人机领域，首先，根据GPS坐标控制无人机返航至降落标识上方附近，并调整无人机摄像机向下垂直于地面，接着，控制无人机逐步降落，并开启二维码识别，当识别到二维码时，根据二维码的中心点像素与视频画面中心点像素之间的像素距离计算无人机与二维码中心的真实距离，然后，控制无人机朝二维码中心方向飞行，当无人机飞行到真实距离一半后，再识别二维码，再次计算无人机与二维码之间的真实距离，直至无人机与二维码中心的真实距离小于预设的真实距离阈值，且无人机离地面的高度小于预设的离地高度阈值，最后，直接控制无人机降落至地面。本专利技术方法实现了低成本的无人机精准降落。但是使用单个二维码作为无人机视觉引导降落标识会导致整个降落流程的鲁棒性变差，首先无人机在不同高度获取到的二维码图像会不同，高度越高二维码越小，越不易识别，反之高度越低二维码越容易识别。对于图像中的二维码识别过程，不同的高度和距离会有不同的识别效果，同样的，针对环境光线等原因，会导致偶发无法识别到二维码，所以设计、识别和处理多个二维码的降落标识会在一定程度上会增加二维码识别检出率，进而增加降落的稳定性。
[0011]中国专利文献CN115258181A公开了一种无人机及其起降方法、计算机设备及存储介质，该方法适用于无人机收纳装置，包括：当无人机从无人机收纳装置起飞时，通过摄像模块对所属坑位的坑位标识ID进行识别并记录；当无人机返回降落时，通过摄像模块对无人机收纳装置中的二维码进行识别，并根据记录的坑位标识ID确认所属坑位的坑位标识；对所述坑位标识进行识别，得到对应的坑位标识的识别结果；基于坑位标识的识别结果，构建对应的导航信息，并基于所述导航信息降入所属坑位中。本专利技术通过识别无人机收纳装置的坑位标识，以读取其中的位置信息，从而构建导航信息，使无人机能够精准降入至各自坑位中，如此可提高无人机的起降精度和回收效率。
[0012]中国专利文献CN115339646A一种无人机水上精准降落平台、系统和方法，所述降落平台包括：导航定位模块，其用于引导无人机移动至所述降落平台上方；发热二维码，其设于降落点上，用于引导无人机进行精准降落。本专利技术采用导航定位模块在高空远距离时对无人机进行导航定位引导，当搭载有红外热成像模组的无人机进入红外热成像识别范围内时，通过识别发热二维码、读取二维码信息辅助无人机进行精准降落，本专利技术受视线、环境因素影响小，能够同时满足昼夜条件、复杂环境下的无人机水上精准降落需求。该方法使用发热二维码，额外提供了装置和热源，在晴空烈日下，降落平台或标志吸收以及反射的太阳热量会对发热二维码干扰造成识别效果不佳，不能识别二维码的情况，并且红外模组与
可见光模组不同，红外模组生成图像分辨率低，图像相对模糊，通常来说无人机可见光相机模组需要清晰稳定的航拍图像，其可见光图像一般在1080P以上，无论是清晰度还是图像质量都远超红外模组，且红外模组获得的图像精度会受到环境因素如空气湿度，距离等产生较大影响。
[0013]根据中国专利文献CN115857519A、中国专利文献CN115933731A所记本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于可垂直降落无人机视觉引导降落方法，其特征在于，包括步骤如下:S1:无人机通过非视觉定位方式将无人机引导至降落标志上空；S2:无人机转换到视觉引导降落状态；S3:无人机降落地点或机巢获取到无人机进入引导状态后，根据降落地点或机巢摄像装置判断光线强度，控制是否开启降落地点或者无人机机巢的灯光；S4:无人机使用负载相机识别降落标志；S5:无人机使用识别到的二维码数据信息反推估计无人机的高度信息；S6:无人机根据二维码识别数据信息调整无人机机头方向；S7:无人机根据每个二维码的定位识别结果独立计算真实偏移距离，在完成S6后；S8:移动无人机，当无人机达到降落高度时，执行降落，关闭螺旋桨或其他动力装置。2.根据权利要求1所述一种用于可垂直降落无人机视觉引导降落方法，其特征在于，所述S3具体包括：S31:无人机机巢相机拍摄斜向上的图像；S32:将S31获取到的图像转为单通道灰度图像；S33:对S32获取到的图像进行灰度直方图统计，并计算出图像的平均像素值α；S34:根据预先设定的阈值α
′
和计算出的平均像素值α进行计算和判断：如果所述平均像素值α小于预先设定的阈值α
′
，即α<α
′
，则光照强度不足，开启无人机机巢灯光；如果所述平均像素值α大于等于预先设定的阈值α
′
，即α≥α
′
,则光照强度较好，不开启无人机机巢灯光。3.根据权利要求1所述一种用于可垂直降落无人机视觉引导降落方法，其特征在于，所述S4中，获取无人机负载相机视频图像信息，对图像中存在的识别降落标志进行识别，识别结果包括二维码ID信息和顺序端点像素坐标信息；所述识别方法包含以下步骤：S41：获取无人机负载相机视频图像；S42：像素缩放，将S41获取到的图像按照阈值scale进行缩放；S43：将步骤S42缩放的图像进行二值化操作，得到二值化图像；S44：在步骤S43中获取到的二值化图像进行轮廓提取和筛选，筛选出的图形作为候选区域用于二维码识别；S45：提取二维码编码信息，在S43中的候选区域中，对所述二维码进行解码。4.根据权利要求3所述一种用于可垂直降落无人机视觉引导降落方法，其特征在于，所述S5的具体步骤包括：S51：获取降落标志中二维码的边长长度信息，使每个二维码都对应一个边长长度数据信息；S52：在无人机降落停稳无人机机巢时的平面高度至无人机开始执行视觉引导降落时的高空平面高度区间内，设定高度层间隔ΔH，在不同高度下执行S4操作，得到在高度层间隔为ΔH的不同高度层的二维码ID信息和顺序端点像素坐标信息，使每个高度层都对应每个不同二维码的ID信息和顺序端点像素坐标信息，以作为先验值，所述先验值对应的不同高度为先验高度；
S53：计算在S52中获取到的每个不同二维码的四边形边长信息：由二维码所在的四边形的顺序端点像素坐标信息，计算四边形的平均像素长度；所述平均像素长度d
pix
：在公式(1)中，n是二维码的边数；i为二维码个数；u为行像素坐标值；v为列像素坐标值；S54：当无人机执行视觉引导降落时，根据S53计算实时二维码对应四边形的平均像素长度，即得到实时二维码的四边形边长信息；S55：将S54得到的实时二维码的四边形边长信息与S53得到的不同二维码的四边形边长信息进行比较：使用线性插值法计算出在执行S4和S54时无人机的高度信息：高度层间隔ΔH＝H
(2)
‑
H
91)
＝H
(i+1)
‑
H
(i)
(3)在公式(2)、(3)、(4)中，和为S52获得的先验值；H为无人机实时高度；H
(2)
和H
(1)
分别为和对应的先验高度。5.根据权利要求3所述一种用于可垂直降落无人机视觉引导降落方法，其特征在于，所述S6包括步骤如下：S61：根据S4得到无人机识别的二维码ID信息和顺序端点像素坐标信息，顺序计算每个二维码端点的像素坐标点连线与图像行像素坐标轴U轴方向的角度差；S62：转换角度，将S61得到的角度差转换为无人机偏航角度，根据S61得到的角度差即为无人机相...

【专利技术属性】
技术研发人员：范满，徐鹏翱，王硕，韩颖颖，张磊，
申请(专利权)人：智洋创新科技股份有限公司，
类型：发明
国别省市：