一种基于三维目标检测的飞行汽车起飞着陆决策规划方法技术

本发明专利技术公开了一种基于三维目标检测的飞行汽车起飞着陆决策规划方法，基于部署在飞行汽车上的摄像头和激光雷达实现，该方法包括：根据实时采集的图像和三维点云数据建立动态三维地图；当飞行汽车为飞行状态，根据动态三维地图，分别建立斥力场和引力场形成实时变化的合力场，驱动飞行汽车进行动态着陆，当满足安全距离，控制飞行汽车着陆，决策规划结束；否则，控制飞行汽车上升，重新建立引力场；当飞行汽车为行驶状态，根据动态三维地图，分别建立斥力场和引力场形成实时变化的合力场，驱动飞行汽车起飞，决策规划结束。决策规划结束。决策规划结束。

【技术实现步骤摘要】
一种基于三维目标检测的飞行汽车起飞着陆决策规划方法


[0001]本专利技术属于自动驾驶
，尤其涉及一种基于三维目标检测的飞行汽车起飞着陆决策规划方法。

技术介绍

[0002]美国福特汽车创始人亨利
·
福特曾预言，飞机和汽车的结合体即将面世。随着城市交通拥堵日益严重，而以飞行汽车为代表的城市空中交通是新的解决方案。多家制造商将2025年前后定为重要的时间节点，飞行汽车将实现商业化。
[0003]随之产生两个问题：
[0004]1)如何在车水马龙的道路上，让具有初速度的飞行汽车从空中安全汇入车流中；
[0005]2)如何让具有初速度的飞行汽车从车水马龙的地面安全的起飞。
[0006]从空中汇入车流中的难度比从车流飞到空中难度大得多，起飞场是着陆场的简化形式。
[0007]为了解决上述问题，需要解决两个问题环境感知和路径规划：
[0008]普通的摄像头对于目标的检测只能分辨出目标类别，对于目标在三维空间的位置感知误差较大。激光雷达进行三维目标检测具有天然的距离优势，能够直接获取到各个点的位置信息，但其缺乏图像丰富的视觉信息。
[0009]不同类型的传感器各有优劣，单一传感器无法实现精确高效的检测.为此，将具有互补特性的多种传感器融合以增强感知能力，图像和点云融合的三维目标检测方法既能弥补图像的深度不足也能弥补点云缺乏视觉信息的不足。
[0010]目前的路径规划算法分为两大类，以A*算法为代表的全局路径规划的算法，和以人工势场法为例的局部避障算法。两种算法各有优劣，A*算法可以求得全局最优解从而避免无人机陷入局部最优解，但是A*算法需要提前获知整个地图的信息且算法随着地图的增大解算时间也会延长；而人工势场法可以快速针对障碍物位置信息做出响应，方法可靠性高，不依赖环境的先验信息和障碍物形状，不受障碍物的外形影响，但是会陷入局部最优；具体来说，人工势场法的基本原理，在飞行过程中生成虚拟的两个势力场：引力场、斥力场。然后，在两个势力场联合的作用下，根据各个势力场的模型不同产生不同的作用力，飞行汽车在这些力的作用下进行安全起飞、着陆。

技术实现思路

[0011]本专利技术的目的在于克服现有技术缺陷，提出了一种基于三维目标检测的飞行汽车起飞着陆决策规划方法。
[0012]为了实现上述目的，本专利技术提出了一种基于三维目标检测的飞行汽车起飞着陆决策规划方法，基于部署在飞行汽车上的摄像头和激光雷达实现，所述方法包括：
[0013]步骤1)根据实时采集的图像和三维点云数据对指定道路进行环境感知，建立动态三维地图；
[0014]步骤2)当待决策规划的飞行汽车为飞行状态，转至步骤3)；当待决策规划的飞行汽车为行驶状态，转至步骤5)；
[0015]步骤3)根据动态三维地图，结合飞行汽车数据和行驶在单行路的汽车情况，建立斥力场，选取行驶汽车后某点或地面上某点建立引力场；
[0016]步骤4)由斥力场和引力场形成实时变化的合力场，驱动飞行汽车进行动态着陆，判断飞行汽车和目标位置间的距离是否满足安全距离，判断为是，控制飞行汽车着陆，并转至步骤7)；判断为否，控制飞行汽车上升，并转至步骤3)重新建立引力场；
[0017]步骤5)根据动态三维地图，结合飞行汽车数据和行驶在单行路的汽车情况，建立斥力场，选取空中安全位置建立引力场；
[0018]步骤6)由斥力场和引力场形成实时变化的合力场，驱动飞行汽车起飞，并转至步骤7)；
[0019]步骤7)决策规划结束。
[0020]作为上述方法的一种改进，所述步骤1)包括：
[0021]步骤1
‑
1)将采集的图像经卷积神经网络处理，经过图像金字塔特征提取，得到与初始图像大小相同的图像特征图；
[0022]步骤1
‑
2)将获取的三维点云和图像特征图经联合标定，得到在图像范围内的点云，并得到对应的图像特征；
[0023]步骤1
‑
3)将融合的点云图像数据按照点云的分布进行体素网格化，得到体素化数据；
[0024]步骤1
‑
4)对体素化数据进行筛选，去掉空的网格，将长宽高按秩序排列成一维，得到处理后的体素化数据，
[0025]步骤1
‑
5)将处理后的体素化数据输入数据编码网络，得到特征图；
[0026]步骤1
‑
6)将特征图通过单阶段的目标检测网络，得到指定道路三维目标的坐标及长宽高信息；
[0027]步骤1
‑
7)根据检测到的每个三维目标的坐标及长宽高信息，建立动态三维地图。
[0028]作为上述方法的一种改进，所述步骤1
‑
5)的数据编码网络包括：全连接层和VoxelNet；所述数据编码网络的处理包括：
[0029]处理后的体素化数据包括若干个非空格子，每个格子包括若干个点，从每个格子提取出一个点表示这个格子，一个高度方向选出一个格子表示这个高度，得到L长、W宽的特征图大小，C为特征图特征数，通过升维扩充特征。
[0030]作为上述方法的一种改进，所述步骤3)包括：
[0031]步骤3
‑
1)提取待决策规划飞行汽车的数据，经分析处理后建立斥力场；
[0032]作用在飞行汽车上的斥力场U
ri
(X)和斥力F
r
(X)满足下式：
[0033][0034]其中，k
r
表示正比例系数，X表示待决策规划的飞行汽车位置，X
i
表示障碍物i的位置，η
i
(X,X
i
)表示X与X
i
之间的距离，η
i
(X,X
i
)表示X与X
i
之间的距离，η
0，i
表示第i个障碍物斥力场作用的最大距离；
[0035][0036]其中，N表示障碍物总数，F
ri
(X)表示障碍物i的斥力，满足下式：
[0037][0038]其中，表示η
i
梯度；
[0039]步骤3
‑
2)结合待决策规划飞行汽车的前后方车辆情况，建立引力场；
[0040]作用在飞行汽车上的引力场U
a
(X)和引力F
a
(X)满足下式：
[0041][0042][0043]其中，ρ表示引力正比例系数，X
g
表示目标位置，η(X,X
g
)表示飞行汽车和目标位置的距离，表示η梯度。
[0044]作为上述方法的一种改进，所述步骤4)判断飞行汽车和目标位置间的距离是否满足安全距离；包括：
[0045]当前车和后车之间的距离大于等于安全距离时，满足安全距离，否则不满足安全距离。
[0046]作为上述方法的一种改进，所述步骤5)包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维目标检测的飞行汽车起飞着陆决策规划方法，基于部署在飞行汽车上的摄像头和激光雷达实现，所述方法包括：步骤1)根据实时采集的图像和三维点云数据对指定道路进行环境感知，建立动态三维地图；步骤2)当待决策规划的飞行汽车为飞行状态，转至步骤3)；当待决策规划的飞行汽车为行驶状态，转至步骤5)；步骤3)根据动态三维地图，结合飞行汽车数据和行驶在单行路的汽车情况，建立斥力场，选取行驶汽车后某点或地面上某点建立引力场；步骤4)由斥力场和引力场形成实时变化的合力场，驱动飞行汽车进行动态着陆，判断飞行汽车和目标位置间的距离是否满足安全距离，判断为是，控制飞行汽车着陆，并转至步骤7)；判断为否，控制飞行汽车上升，并转至步骤3)重新建立引力场；步骤5)根据动态三维地图，结合飞行汽车数据和行驶在单行路的汽车情况，建立斥力场，选取空中安全位置建立引力场；步骤6)由斥力场和引力场形成实时变化的合力场，驱动飞行汽车起飞，并转至步骤7)；步骤7)决策规划结束。2.根据权利要求1所述的基于三维目标检测的飞行汽车起飞着陆决策规划方法，其特征在于，所述步骤1)包括：步骤1
‑
1)将采集的图像经卷积神经网络处理，经过图像金字塔特征提取，得到与初始图像大小相同的图像特征图；步骤1
‑
2)将获取的三维点云和图像特征图经联合标定，得到在图像范围内的点云，并得到对应的图像特征；步骤1
‑
3)将融合的点云图像数据按照点云的分布进行体素网格化，得到体素化数据；步骤1
‑
4)对体素化数据进行筛选，去掉空的网格，将长宽高按秩序排列成一维，得到处理后的体素化数据，步骤1
‑
5)将处理后的体素化数据输入数据编码网络，得到特征图；步骤1
‑
6)将特征图通过单阶段的目标检测网络，得到指定道路三维目标的坐标及长宽高信息；步骤1
‑
7)根据检测到的每个三维目标的坐标及长宽高信息，建立动态三维地图。3.根据权利要求2所述的基于三维目标检测的飞行汽车起飞着陆决策规划方法，其特征在于，所述步骤1
‑
5)的数据编码网络包括：全连接层和VoxelNet；所述数据编码网络的处理包括：处理后的体素化数据包括若干个非空格子，每个格子包括若干个点，从每个格子提取出一个点表示这个格子，一个高度方向选出一个格子表示这个高度，得到L长、W宽的特征图大小，C为特征图特征数，通过升维扩充特征。4.根据权利要求1所述的基于三维目标检测的飞行汽车起飞着陆决策规划方法，其特征在于，所述步骤3)包括：步骤3
‑
1)提取待决策规划飞行汽车的数据，经分析处理后建立斥力场；作用在飞行汽车上的斥力场U
ri
(X)和斥力F
r
(X)满足下式：
其中，k
r
表示正比例系数，X表示待决策规划的飞行汽车位置，X
i
表示障碍物i的位置，η
i
(X,X
i
)表示X与X
i
之间的距离，η
i
(X,X
i
)表示X与X
i
之间的距离，η
0，i
表示第i个障碍物斥力场作用的最大距离；其中，N表示障碍物总数，F
ri
...

【专利技术属性】
技术研发人员：张新钰，刘华平，黄建聪，黄元昊，黄康尧，李骏，
申请(专利权)人：清华大学，
类型：发明
国别省市：