单目相机无人机无引导下的安全降落点分析方法和装置制造方法及图纸

本申请公开了一种单目相机无人机无引导下的安全降落点分析方法和装置，涉及无人机领域，本申请包括，获取视觉模块采集的图像数据；获取高度传感器采集的高度数据；对图像数据输入神经网络模型，神经网络模型对图像数据中的多目标障碍物进行识别并采用候选框标记输出检测结果图；依据高度数据对无人机在二维平面上的安全框进行缩放调整和姿态调整；处理带候选框的检测结果图和安全框，输出无人机安全降落的点位。本申请通过计算图像数据中的障碍物候选框占比，先一步计算该图像是否存在可降落安全点，节约计算资源，提高解决问题效率。提高解决问题效率。提高解决问题效率。

【技术实现步骤摘要】
单目相机无人机无引导下的安全降落点分析方法和装置


[0001]本申请涉及单目无人机领域，具体涉及一种单目相机无人机无引导下的安全降落点分析方法和装置。

技术介绍

[0002]现有的双目相机装置的无人机，搭载基于神经网络的目标检测模型，对无引导降落情况下进行自主选择安全区域进行降落；
[0003]双目相机无人机的自主降落方法不适用于搭载单目相机的无人机。

技术实现思路

[0004]本申请提供一种单目相机无人机无引导下的安全降落点分析方法和装置，解决用户规划产品的需求问题。
[0005]第一方面，本申请提供一种单目相机无人机无引导下的安全降落点分析方法，包括：
[0006]获取视觉模块采集的图像数据；
[0007]获取高度传感器采集的高度数据；
[0008]对图像数据输入神经网络模型，神经网络模型对图像数据中的多目标障碍物进行识别并采用候选框标记输出检测结果图；
[0009]依据高度数据对无人机在二维平面上的安全框进行缩放调整和姿态调整；
[0010]处理带候选框的检测结果图和安全框，输出无人机安全降落的点位。
[0011]进一步的，所述处理带候选框的检测结果图和安全框，输出无人机安全降落的点位，包括两个步骤：
[0012]分析是否存在安全降落的点位，如否，则输出无安全降落点；
[0013]如是，则输出安全降落点的位置；
[0014]包括，计算目标障碍物候选框合集所占输入图像数据的比例P
box
，计算候选框在整幅图像中最高占比阈值T
h
，当P
box
>T
h
，输出无安全降落点；
[0015]T
h
＝1
‑
α*p
safe
，
[0016]其中，α为预设安全系数，α>1，p
safe
为地面边长为d
ground
的安全正方形区域在像平面投影占整幅输入图像的比例；
[0017]其中，
[0018][0019]其中，d
p
为中间计算变量，f为单目相机无人机的相机焦距，h为无人机对地高度，img.row,img.col为输入图像的长宽。
[0020]进一步的，所述对图像数据输入神经网络模型，神经网络模型对图像数据中的多目标障碍物进行识别并采用候选框标记输出检测结果图，包括：
[0021]对目标障碍物进行权重设置；
[0022]识别不同类型的多目标障碍物，并设置对应不同的权重，权重用于调整候选框标记的缩放比例。
[0023]进一步的，所述目标障碍物候选框合集所占输入图像数据的比例，通过如下方式计算：
[0024][0025]其中，
[0026][0027]S
obj
为所有目标障碍物的所占面积；
[0028]S
intersection
为所有目标障碍物的交叠面积。
[0029]进一步的，处理带候选框的检测结果图和安全框，输出无人机安全降落的点位，还包括：
[0030]选定安全距离，对相交的候选框合并，对不相交的候选框间距离比对安全距离后合并，迭代比对、合并过程直至循环到所有相邻候选框间距离大于或等于安全距离；
[0031]输出迭代后的包括候选框的检测数据结果。
[0032]进一步的，所述处理带候选框的检测结果图和安全框，输出无人机安全降落的点位，还包括：
[0033]对带候选框的检测结果图处理为带候选框的画幅；
[0034]以安全框为对象，在所述带候选框的画幅上移动安全框遍历整个画幅，同时，对每个移动的节点进行遍历时，调整无人机安全框的姿态，输出容纳安全框的节点坐标为安全降落点位；
[0035]其中，记录当前安全降落点位置安全框的姿态，
[0036]画幅中无候选框的匹配区域包括调整姿态后的安全框时的节点为容纳安全框的节点。
[0037]进一步的，所述以安全框为对象，在所述带候选框的画幅上移动安全框遍历整个画幅，直至找到所有安全降落点，同时，对每个移动的节点进行遍历时，调整无人机安全框的姿态，输出容纳安全框的节点坐标为安全降落点位，包括：
[0038]遍历操作步骤：
[0039]对画幅进行网格化等分，对每个网格上的障碍物候选框所占网格比例计算，并生成离散网格化的占比图，生成多条障碍物候选框低占比组成的离散网格路径，同时沿多条离散网格路径基于安全框进行遍历操作。
[0040]进一步的，所述以安全框为对象，在所述带候选框的画幅上移动安全框遍历整个
画幅，同时，对每个移动的节点进行遍历时，调整无人机安全框的姿态，输出容纳安全框的节点坐标为安全降落点位，包括：
[0041]遍历操作步骤：
[0042]对画幅，以候选框的大小、位置和候选框对应系数转换为热力图，以安全框为对象在热力图上从低热度到高热度区域依次遍历，直至找到所有安全降落点。
[0043]第二方面，本申请提供一种单目相机无人机无引导下的安全降落点分析装置，包括：
[0044]第一获取模块，用于获取视觉模块采集的图像数据；
[0045]第二获取模块，用于获取高度传感器采集的高度数据；
[0046]神经网络模块，包括神经网络模型，用于对图像数据输入神经网络模型，神经网络模型对图像数据中的多目标障碍物进行识别并采用候选框标记输出检测结果图；
[0047]第一处理模块，用于依据高度数据对无人机在二维平面上的安全框进行缩放调整和姿态调整；
[0048]第二处理模块，用于处理带候选框的检测结果图和安全框，输出无人机安全降落的点位。
[0049]进一步的，所述第二处理模块，具体用于分析是否存在安全降落的点位，如否，则输出无安全降落点；
[0050]如是，则输出安全降落点的位置；
[0051]包括，计算目标障碍物候选框合集所占输入图像数据的比例P
box
，计算候选框在整幅图像中最高占比阈值T
h
，当P
box
>T
h
，输出无安全降落点；
[0052]T
h
＝1
‑
α*p
safe
，
[0053]其中，α为预设安全系数，α>1，p
safe
为地面边长为d
ground
的安全正方形区域在像平面投影占整幅输入图像的比例；
[0054]其中，
[0055][0056]其中，d
p
为中间计算变量，f为单目相机无人机的相机焦距，h为无人机对地高度，img.row,img.col为输入图像的长宽。
[0057]进一步的，所述神经网络模块，具体用于对目标障碍物进行权重设置；
[005本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单目相机无人机无引导下的安全降落点分析方法，其特征在于，包括：获取视觉模块采集的图像数据；获取高度传感器采集的高度数据；对图像数据输入神经网络模型，神经网络模型对图像数据中的多目标障碍物进行识别并采用候选框标记输出检测结果图；依据高度数据对无人机在二维平面上的安全框进行缩放调整和姿态调整；处理带候选框的检测结果图和安全框，输出无人机安全降落的点位。2.根据权利要求1所述的方法，其特征在于，所述处理带候选框的检测结果图和安全框，输出无人机安全降落的点位，包括两个步骤：分析是否存在安全降落的点位，如否，则输出无安全降落点；如是，则输出安全降落点的位置；包括，计算目标障碍物候选框合集所占输入图像数据的比例P
box
，计算候选框在整幅图像中最高占比阈值T
h
，当P
box
>T
h
，输出无安全降落点；T
h
＝1
‑
α*p
safe
，其中，α为预设安全系数，α>1，p
safe
为地面边长为d
ground
的安全正方形区域在像平面投影占整幅输入图像的比例；其中，其中，d
p
为中间计算变量，f为单目相机无人机的相机焦距，h为无人机对地高度，img.row,img.col为输入图像的长宽。3.根据权利要求1所述的方法，其特征在于，所述对图像数据输入神经网络模型，神经网络模型对图像数据中的多目标障碍物进行识别并采用候选框标记输出检测结果图，包括：对目标障碍物进行权重设置；识别不同类型的多目标障碍物，并设置对应不同的权重，权重用于调整候选框标记的缩放比例。4.根据权利要求2所述的方法，其特征在于，所述目标障碍物候选框合集所占输入图像数据的比例，通过如下方式计算：其中，
S
obj
为所有目标障碍物的所占面积；S
intersection
为所有目标障碍物的交叠面积。5.根据权利要求2所述的方法，其特征在于，所述处理带候选框的检测结果图和安全框，输出无人机安全降落的点位，还包括：对带候选框的检测结果图处理为带候选框的画幅；以安全框为对象，在所述带候选框的画幅上移动安全框遍历整个画幅，同时，对每个移动的节点进行遍历时，调整无人机安全框的姿态，输出容纳安全框的节点坐标为安全降落点位；其中，记录当前安全降落点位置安全框的姿态，画幅中无候选框的匹配区域包括调整姿态后的安全框时的节点为容纳安全框的节点。6.根据权利要求5所述的方法，其特征在于，...

【专利技术属性】
技术研发人员：秦宗航，彭彦平，张万宁，张郁婷，
申请(专利权)人：成都时代星光科技有限公司，
类型：发明
国别省市：