【技术实现步骤摘要】
本专利技术属于无人机应用，具体涉及一种基于视觉图像导引的自主着降方法及装置。
技术介绍
1、无人机uav是一种能够在未知环境下执行侦察、通信、测绘、打击等多种任务，并重复使用的智能化平台，其未知环境的自主着降能力是实现真正无人自主飞行的关键能力之一，自主着降可靠性和智能化程度也是衡量无人机系统成熟与否的重要因素。而现阶段，无人机自主着降技术主要依靠全球卫星导航系统、毫米波单脉冲二次雷达引导、仪表着陆系统和微波着陆系统等传统方式实现，这些方法在合作已知环境下已经取得了大量的研究和应用成果，但在未知环境下，特别是gnss信号拒止条件下，则存在引导精度不够、自主性能不高的技术挑战和难题，为此众多学者借鉴大脑视觉器官处理机制，提出利用相机、摄像头等机器视觉系统导引无人机自主降落技术方法，如将利用无人机采集视频图像与已有数据库的跑道图像的视觉匹配着陆方法、利用预设地面标志和机器视觉跟踪算法的视觉降落技术等。
2、目前基于机器视觉的无人机自主着降研究大多是针对旋翼小型无人机，涉及沿着固定下滑道分阶段滑跑进近较少，如专利cn201310563804，cn201610624928均是从旋翼无人机着降角度研究位姿估计和着降方法，难以适用固定下滑角着陆时引导需求；针对该问题，专利cn201810730693针对固定翼无人机着降需求，提出利用3dcnn神经网络从图像分类检测与识别的方法给出了解决方案，该方法摆脱了地面辅助标志，提高场景适用性，该方法仅解决了近距离跑道识别跟踪问题，难以实现进近阶段远距离对机场检测和识别，同时经典的3dcnn
技术实现思路
1、为了克服现有技术应用于无人机自主着降时存在效率不高、识别精度不够的问题，参考飞机进近着陆程序，将基于视觉图像导引的无人机自主着降划分为机场进近和跑道着陆两个阶段，将图像识别划分为机场外围(整个机场环境)、机场内围(机场中包含跑道的区域)、机场跑道(具体的跑道区域)三个场景进近检测识别与跟踪，构建无人机起降的跑道目标识别及位姿解算模型，提供一种基于图像空间分类的视觉图像导引方法，满足gnss拒止条件下复杂未知环境无人机自主着降需求。
2、当无人机处于机场外围即整个机场环境时，无人机先接近机场，使机头对准机场方向，这可以通过罗盘、导航机或者塔康等设备引导实现，然后进入基于纯视觉图像导引的无人机自主着降方法，具体如下：
3、步骤1：当无人机处于机场外围时，采集机场图像。使用机载相机从无人机视角实时采集的未知机场环境图像，图片尺预设参考框优于416×416；
4、步骤2：图像预处理；采用相关滤波和图像分割算法，将采集的机场图像进行滤波降噪，剔除重复模糊的图像及背景，提取机场图像；
5、步骤3：地平线检测；无人机机场进近阶段，地平线是一个很明显也很重要的特征，可以认为地平线的上半部分始终是天空，下半部始终是地面，确定地平线后只对地平线以下的部分处理，可以简化图像处理的工作。由于无人机着降机场环境地势比较平坦，对机场进近阶段采集的预处理图像用hough变换检测直线，对所有检测到的直线计算代价函数：
6、
7、其中e(xij)为：
8、
9、其中f(x)为采集图像二值分割函数，xij表示像素点，像素点xij图像坐标为(ul,vw)，则f(x)＝1表示像素点xij是机场目标，f(x)＝-1表示像素点xij是背景，α是一个正常数，用来改善算法性能，使得代价函数最小的直线即为地平线。
10、当无人机处于机场内围即机场中包含跑道的区域时，此时机场轮廓基本出现在采集的图像中，进入步骤4。
11、步骤4：使用边缘检测和边界检测检测，从直线提取识别跑道。随着无人机逐渐接近跑道，采集图像的跑道区域面积逐渐增大，图像中跑道形状从梯形向三角形过渡到矩形，但过渡过程中跑道边界始终具有很强的特征，它不随平移、旋转、缩放和透视而改变，在图像中始终为直线。根据这个特性，采用对跑道边缘检测和边界描述的方法跟踪感兴趣区域。对跑道边缘检测选用canny算子，边界描述采用hough变换描述。
12、经过canny算子边缘检测及hough变换边界描述，得到当前帧的跑道边界位置。跑道边界位置随着无人机运动不断变化，但是前后两帧之间变化在较小范围内，因此可以设置感兴趣区域对跑道进行跟踪。
13、步骤5：图像剔除处理；对采集的跑道着陆阶段图像，去除重复模糊的图像，保留n帧跑道着陆图像；
14、无人机在跑道着陆阶段，构建角点预测的深度神经网络模型提取该阶段视觉图像的跑道特征，进入步骤6。
15、步骤6：构建语义分割的多边形预测框，将跑道着陆图像经过聚类和语义分割得到角点预测框，即跑道特征图。为提高检测效率，将经典目标检测的预测目标正锚框调整为预测目标四个角点，得到跑道特征图。
16、步骤7：标注图像，引入语义分割多边形预测框标注跑道特征图。其中每个预测框有m个对应的数据，m为类数量，其中1个标注数据表示框内是否含有目标，4个数据用以存储框的位置信息，剩余m-5个数据表示目标条件类别概率，是在有目标条件下进行分类，按照预测框对角顶点、目标类型编号和语义多边形顶点三个分类。标注格式为：
17、(x1,y1,x2,y2,class,plx,ply,pnx,pny)
18、其中预测框对角顶点坐标为(x1,y1,x2,y2)，目标类型编号class,预测框语义分割的多边形对角顶点为(plx,ply,pnx,pny)，用于预测框内目标语义信息，提高检测概率。
19、步骤8：生成训练集和验证集；对于标注完成的n帧跑道特征图，以随机划分的方式选取一部分图像作为训练验证集，剩余的图像作为测试集，并且在训练验证集中以随机划分的方式生成训练集和验证集。
20、步骤9：在经典yolo目标检测网络基础上，基于构建的角点预测框生成polygon-yolo目标检测网络。由于经典yolo目标检测网络应用于无人机跑道着陆阶段着降区域检测识别时存在标签重写和锚点anchor分配不平衡的问题。标签重写问题，是指在训练过程中由于两个目标太近而导致其中一个目标被重写而无法训练；anchor分配不平衡问题，是指由于目标尺寸分布问题而导致某些尺度的特征层没有被充分利用，针对上述问题基于构建的四个角点预测框生成polygon-yolo目标检测网络，polygon-yolo目标检测网络主要包括骨架网络和特征融合层。骨架网络是去除了全连接层的darknet-53网络，主要由conv2d和本文档来自技高网...
【技术保护点】
1.一种基于视觉图像导引的无人机自主着降方法，包括：
2.如权利要求1所述的一种基于视觉图像导引的无人机自主着降方法，其特征在于：
3.如权利要求2所述的一种基于视觉图像导引的无人机自主着降方法，其特征在于：
4.如权利要求3所述的一种基于视觉图像导引的无人机自主着降方法，其特征在于：
5.如权利要求4所述的一种基于视觉图像导引的无人机自主着降方法，其特征在于：
6.一种使用如权利要求1所述方法的无人机自主着降装置，包括:机载相机模块、视觉检测模块、控制指令解算模块以及监控显示模块，机载相机模块连续获取无人机前视实时图像，视觉检测模块对每帧实时无人机前视实时图像进行机场、跑道、跑道线的检测，并将飞机相对于检测结果的位姿信息传入控制指令解算模块，控制指令解算模块收到非空的机场标志物位置信息时，解算出无人航空器的期望姿态与期望速度，并将其发送给飞控系统，监控显示模块对原始图像、检测后图像、通过检测到的目标解算得来的位姿信息进行实时显示。
【技术特征摘要】
1.一种基于视觉图像导引的无人机自主着降方法，包括：
2.如权利要求1所述的一种基于视觉图像导引的无人机自主着降方法，其特征在于：
3.如权利要求2所述的一种基于视觉图像导引的无人机自主着降方法，其特征在于：
4.如权利要求3所述的一种基于视觉图像导引的无人机自主着降方法，其特征在于：
5.如权利要求4所述的一种基于视觉图像导引的无人机自主着降方法，其特征在于：
6.一种使用如权利要求1所...
【专利技术属性】
技术研发人员：代传金，谢李晋，李立，吴倩，李伟龙，曹海霞，来磊，
申请(专利权)人：中国人民解放军空军工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。