一种基于深度卷积神经网络的无人机自主降落方法技术

本发明专利技术公开了一种基于深度卷积神经网络的无人机自主降落方法，将传统自主降落中图像处理及地标检测部分替换为深度卷积神经网络，通过求解PnP问题估计无人机与地标之间的相对位姿，以精确调整无人机的姿态和位置，同时为减轻无人机的计算负担，在高度较高的情况下采用基于图像的方法调整无人机水平位置，保证无人机处于地标的正上空，并能在下降过程中同时检测到微小障碍物并避开障碍物，克服了无人机自主降落传统方法降落地标检测的低可靠性问题，提升了在多种光照和背景下无人机自主降落的可靠性。

An autonomous landing method of UAV Based on deep convolution neural network

【技术实现步骤摘要】
一种基于深度卷积神经网络的无人机自主降落方法
本专利技术属于无人机降落方法
，具体涉及一种基于深度卷积神经网络的无人机自主降落方法。
技术介绍
近年来，无人机已经广泛应用在军事民用领域，如实时监控、资源勘探、民用监视、货物运输及农业规划等方面，而安全应用无人机的关键问题之一便是准确控制无人机的运动，特别是在降落环节。据统计，80％的无人机事故发生在无人机降落阶段，因此，如何构建自主降落系统成为无人机研究的重要课题和挑战。现有的无人机自主降落方法主要分为电磁引导降落系统和基于视觉的降落系统，其中，前者依赖于惯性导航系统和全球定位系统，定位误差比较大，并且在建筑物遮挡情况下无法定位，无法适用于小型无人机降落所要求的准确定位的场景。基于视觉的降落系统使用机载相机抓取周围环境信息用于引导降落。基于视觉的降落系统关键问题在于准确的检测降落地标。现有的基于视觉的降落系统大多通过匹配低层特征，比如形状或色彩的方式来检测特定设计的地标。这类方法存在以下问题：一、由于手工选取特征，导致这一类方法无法有效地检测不同形状的地标；二、不同光照和背景以及拍本文档来自技高网...

【技术保护点】
1.一种基于深度卷积神经网络的无人机自主降落方法，其特征在于，包括以下步骤：/nS1、在GPS导航下，使无人机飞行至降落区域，并通过无人机机载相机实时采集地面图像；/nS2、通过训练好的深度卷积网络对采集的地面图像进行地标图案检测；/nS3、根据采集的地面图像中心点与检测到的地标图案中心点的重合度，控制无人机水平移动，直到移动到地标图案的正上空；/nS4、控制无人机下降并避障，直到其下降到设定高度；/nS5、通过确定无人机与地标图案的相对位姿，控制无人机向地标图案降落直到着陆，实现无人机的自主降落。/n

【技术特征摘要】
1.一种基于深度卷积神经网络的无人机自主降落方法，其特征在于，包括以下步骤：
S1、在GPS导航下，使无人机飞行至降落区域，并通过无人机机载相机实时采集地面图像；
S2、通过训练好的深度卷积网络对采集的地面图像进行地标图案检测；
S3、根据采集的地面图像中心点与检测到的地标图案中心点的重合度，控制无人机水平移动，直到移动到地标图案的正上空；
S4、控制无人机下降并避障，直到其下降到设定高度；
S5、通过确定无人机与地标图案的相对位姿，控制无人机向地标图案降落直到着陆，实现无人机的自主降落。


2.根据权利要求1所述的基于深度卷积神经网络的无人机自主降落方法，其特征在于，所述步骤S1中无人机机载相机垂直向下，其采集的地面图像区域为无人机的正下方区域。


3.根据权利要求1所述的基于深度卷积神经网络的无人机自主降落方法，其特征在于，所述步骤S2中的深度卷积神经网络通过YOLO目标检测方法对采集的地面图像进行地标图案检测；
所述深度卷积神经网络包括级联的四个卷积层、池化层、全连接层和回归检测层，每个所述卷积层中的激活函数均为leakyReLU激活函数；
所述深度神经网络的输入为224×224大小的RGB图像，输出为地标图案的位置和类别标签。


4.根据权利要求1所述的基于深度卷积神经网络的无人机自主降落方法，其特征在于，所述步骤S2中训练深度卷积神经网络时的损失函数为：



式中，为边框损失，lcoord为控制边框损失的超参数，为在第i个网格的第j个边框负责预测该目标的控制变量，xi为预测边框中心的横坐标，为真实边框中心的横坐标，yi为预测边框中心的纵坐标，为真实边框中心的纵坐标，wi为预测边框的宽度，为真实边框的宽度，hi为预测边框的高度，为真实边框的高度，S为图片中横向或纵向切分的网格数，B为每个网格预测的边框数；

为网格中有目标的置信度损失，Ci为边框置信度，为真实边框的置信度；

为网格中无目标的置信度损失，lnoobj为控制该置信度损失的超参数，为在第i个网格第j个边框中负责预测无任何目标的控制变量；

为分类损失，为目标出现在第i个网格的控制变量，pi(c)为预测的类别条件概率，为该类别的真实条件概率，classes为所有目标的类别，c为每个目标的类别。


5.根据权利要求1所述的基于深度卷积神经网络的无人机自主降落方法，其特征在于，所述步骤S2中，对地面图像进行地标图案检测的方法具体为：
A1、将地面图像分割为7×7个网格，使每个网格生成两个预测边框；
A2、通过回归检测层输出一个7×7×15的张量，即49个15维的预测向量；
其中，在每个预测向量中，第1～5维为对应网格的第一个预测边框及其置信度，第6～10维为对应网格的第二个预测边框及其置信度，第11～15维对应网格中检测到的目标所属对应类别的概率；
A3、通过设置置信度阈值，将低于置信度阈值的预测边框删除，并通过非极大值抑制算法去除检测到同一目标的多余边框，进而得到地标图案的检测结果。


6.根据权利要求1所述的基于深度卷积神经网络的无人机自主降落方法，其特征在于，所述步骤S2中地标图案为由若干相同形状的闭合线条构成环状结构，且每个闭合线条内一对对角处绘制有形状相同且大小不同的标识。


7.根据权利要求1所述的基于深度卷积神经网络的无人机自主降落方法，其特征在于，所述步骤S3具体为：
B1、根据当前地面图像中的地标图案的中心像素点T，该地面图像的中心像素点I，无人机机载相机的分辨率R，无人机的平移常量L，得到控制无人机水平移动时的下一位置坐标(Px+1,Py+1)为：




<...

【专利技术属性】
技术研发人员：孟继成，邓弘志，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51