基于多传感器信息融合实时动态智能路径规划方法及系统技术方案

本发明专利技术提供了一种基于多传感器信息融合实时动态智能路径规划方法及系统，包括：步骤S1：基于多传感器信息融合感知环境；步骤S2：优化全局可行路径搜索与轨迹；步骤S3：基于多传感器实时感知的情况，动态调整规划路径；步骤S4：根据规划路径进行实时导航和机动引导。本发明专利技术能够快速准确提取环境中的实时天气、地质等自然灾害和突发事件等动态实时信息，并且能够快速处理这些动态信息已获取地图中的未知静态障碍物以及未知动态障碍物。通过视觉、激光、惯性、毫米波雷达、卫星信号等多模态传感器获取到的环境中的动态信息之间的学习映射，实现全天候的未知障碍物间检测能力。现全天候的未知障碍物间检测能力。现全天候的未知障碍物间检测能力。

【技术实现步骤摘要】
基于多传感器信息融合实时动态智能路径规划方法及系统


[0001]本专利技术涉及移动机器人路径规划领域，具体地，涉及一种基于多传感器信息融合实时动态智能路径规划方法及系统。

技术介绍

[0002]定位导航技术从指南针、天文信息、卫星、惯性等单一的信源开始，随着惯性与卫星导航技术的成熟，这两种技术的松组合、紧组合等组合导航技术迅速发展。考虑到卫星导航的脆弱性以及惯性导航的漂移问题，其它传感器开始被引入到组合导航系统中，形成多源融合的导航系统。伴随着传感器技术的迅速发展，导航场景的日益复杂，导航平台的算力提高，能够实现快速场景切换的多种全源融合导航开始被研究与关注，实现信息的互补与增强，完成对于导航场景的更多维度、更加全面、更加深入的描述。
[0003]路径规划指的是在给定的环境中，提供和一条或者多条从起始点到终点的路径。现实环境中实时天气、地质等自然灾害和突发事件对路径规划的影响很大，并且这些因素具有实效性。但是目前存在的路径规划算法大都为静态算法，基于静态路网数据和其它环境数据进行路径规划，无法处理实时动态信息，导致算法最终得到的路径不能规避实时天气、地质等自然灾害和突发事件等因素产生的障碍物区域。目前也有部分算法考虑了动态实时信息对路径规划的影响，但是仍然存在不足，如未考虑如何获取动态信息；获取动态信息的方式单一，得到的动态信息不全面或者不充足；以及对动态信息处理速度慢未能满足实时性的需求。
[0004]目前已有的路径规划技术的不足主要包括如下几点：
[0005](1)未考虑地图中的未知障碍物。目前大多数路径规划算法假定地图中的障碍物是静止的并且能够知道所有障碍物的位置，但是在实际环境中，受到实时天气、地质等自然灾害和突发事件的影响，地图中可能产生某些未知的障碍物(包括静态以及动态两类)，此时使用这些路径规划算法并不能规避这些位置的障碍物。另外许多路径规划算法虽然号称动态路径规划算法，但是仅能处理静态未知障碍物，缺少对动态障碍物的规避；还有一些路径规划算法虽能处理动态障碍物，但是处理速度慢，无法满足实时性的需求。
[0006](2)获取动态信息的方式单一。大多数的动态路径规划算法获取动态信息只通过激光传感器或者相机等来获取实时信息，但在复杂环境中(如复杂越野环境)，二者难以捕捉环境中的所有动态信息。
[0007](3)规划的路径不够平滑，无法满足车辆动力学的要求。
[0008]张振,张华良,邓永胜,白士宇.融合改进A～*算法与DWA算法的机器人实时路径规划[J].无线电工程,2022,52(11):1984
‑
1993.公开了：对于利用传统A＊算法规划的路径存在搜索效率低下、节点冗余且不平滑及转弯易靠近障碍物等缺点,基于全向移动机器人提出了一种改进A＊算法与动态窗口法(Dynamic Window Approach,DWA)相融合的实时路径规划方法。在传统A＊算法的评价函数中加入环境中障碍物信息和父节点到目标点的代价信息,提高路径搜索效率；对当前节点扩展时进行安全检测,优化节点扩展方向；基于安全
阈值提取路径关键点,优化搜索路径；将优化后的关键点作为DWA算法的临时目标点,将2种算法融合规划出一条基于全局最优的圆滑曲线路径。
[0009]但是，该技术方案只能够规避静态未知障碍物，没有给出当沿着全局路径搜索时遇到动态障碍物时的处理方法，因此无法有效规避动态未知障碍物；获取动态实时信息的方式单一，仅通过视觉传感器来提取信息；只提供距离优先的路径规划服务。
[0010]王翼虎,王思明.基于改进人工势场法的机器人实时路径规划[J].兰州交通大学学报,2020,39(03):60
‑
66.公开了：针对传统人工势场法在机器人实时路径规划中存在目标不可达和局部极值点等问题，提出了一种改进的人工势场法.首先，在斥力函数中引入距离影响因子，解决目标点旁存在障碍物时的目标不可达问题；其次，引入动态法向力，消除由单个障碍物形成的局部极值点振荡或停滞；然后采用一种新的虚拟目标点设置方法，解决复杂槽形障碍形成的局部极值点问题；最后根据机器人受到的斥力，设置自适应调节步长。
[0011]但是，该技术方案规划得到的路径相较于真实最优路径仍具有一定的差距；在路径规划时默认已经得到了所有的未知障碍物的信息，缺少获取静态未知障碍物以及动态未知障碍物的提取方法；只提供距离优先的路径规划服务
[0012]胡睿婷,刁明光.面向室内实时路径规划的最短路径缓存算法[J].电子技术与软件工程,2019(22):137
‑
139.公开了：通过分析室内实时路径规划中，以人的行走状态与习惯导致相邻两次路径规划结果在短时间内具有的相关性，分析了现有最短路径缓存查询方法在该情景下应用的缺陷，建立了路径相关性缓存代价模型，并提出了一种面向室内路网中实时路径规划的最短路径缓存构建的LPR算法，通过动态更新缓存结构，提高该情景下的最短路径缓存查询效率。
[0013]但是，该技术方案只能够解决室内或者广场等小范围内的路径搜索问题；无对动态未知障碍物的处理，无法规避动态未知障碍物，只能够规避静态障碍物；只提供距离优先的路径规划服务；在路径规划时默认已经得到了所有的未知障碍物的信息，缺少对动态实时信息的处理，无法通过本文所提算法获取静态未知障碍物以及动态未知障碍物的提取方法。

技术实现思路

[0014]针对现有技术中的缺陷，本专利技术的目的是提供一种基于多传感器信息融合实时动态智能路径规划方法及系统。
[0015]根据本专利技术提供的一种基于多传感器信息融合实时动态智能路径规划方法，包括：
[0016]步骤S1：基于多传感器信息融合感知环境；
[0017]步骤S2：优化全局能够通行路径搜索与轨迹；
[0018]步骤S3：基于多传感器实时感知的情况，动态调整规划路径；
[0019]步骤S4：根据规划路径进行实时导航和机动引导。
[0020]优选地，在所述步骤S1中：
[0021]基于深度学习环境感知方法，检测环境中的预设目标，根据导航环境特性，建立场景分类标准；分析多模态信号特性，研究基于多模态融合特征的场景空间及环境变量识别
方法，对环境进行三维重构，实现导航环境下的环境信息智能感知。
[0022]步骤S1.1：基于多模态传感器数据的越野环境地形重构：
[0023]在预设环境下，车辆的导航构建局部地形的高程地形栅格图，为车辆在预设环境下进行路径规划提供感知基础；
[0024]系统基于视差图特征和稠密点云进行预设环境地形重构，通过视差方法提取平面，去除无需重构的地形部分，确定地形有效重构区域；融合惯性传感器和里程计信息，对高程栅格地形图进行修正，并进行实时地更新管理；通过高程栅格滤波方法对高程地形栅格进行滤波处理，获得局部高程栅格地形图；
[0025]步骤S1.2：基于多模态数据的目标检测与识别：
[0026]目标检测与识别获取环境中影响车辆通行的动态障碍物以及静态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多传感器信息融合实时动态智能路径规划方法，其特征在于，包括：步骤S1：基于多传感器信息融合感知环境；步骤S2：优化全局能够通行路径搜索与轨迹；步骤S3：基于多传感器实时感知的情况，动态调整规划路径；步骤S4：根据规划路径进行实时导航和机动引导。2.根据权利要求1所述的基于多传感器信息融合实时动态智能路径规划方法，其特征在于，在所述步骤S1中：基于深度学习环境感知方法，检测环境中的预设目标，根据导航环境特性，建立场景分类标准；分析多模态信号特性，研究基于多模态融合特征的场景空间及环境变量识别方法，对环境进行三维重构，实现导航环境下的环境信息智能感知。步骤S1.1：基于多模态传感器数据的越野环境地形重构：在预设环境下，车辆的导航构建局部地形的高程地形栅格图，为车辆在预设环境下进行路径规划提供感知基础；系统基于视差图特征和稠密点云进行预设环境地形重构，通过视差方法提取平面，去除无需重构的地形部分，确定地形有效重构区域；融合惯性传感器和里程计信息，对高程栅格地形图进行修正，并进行实时地更新管理；通过高程栅格滤波方法对高程地形栅格进行滤波处理，获得局部高程栅格地形图；步骤S1.2：基于多模态数据的目标检测与识别：目标检测与识别获取环境中影响车辆通行的动态障碍物以及静态障碍物，采用基于师生网络的多模态融合目标障碍物检测算法；对于特征表示近似程度符合预设标准，具有预设成像能力或者点云生成能力的模态，采用师生网络的方式对数据进行目标级标注；教师网络采用二维图像目标识别网络Mask RCNN得到目标识别结果；在特征提取部分，多模态数据的特征被整合为相同大小的二维张量，学生网络采用其他模态的数据特征作为输入，输入至同样结构的二维卷积网络中进行目标识别；跨模态监督部分根据教师网络的结果指导学生网络的训练，其中包括跨模态的目标识别结果对齐以及对较差检测结果的滤除；步骤S1.3：多模态融合导航特征地图生成：通过多传感器采集光、电、磁数据，对多模态特征进行编码和抽取之后形成认知快照，由多源传感器融合定位技术中给出的机器人自身位姿数据，将前一时刻的导航特征地图旋转到当前坐标系下，将认知快照与上一时刻的导航特征地图结合形成新时刻的导航特征地图；导航特征地图是分层级的，每个层级分别代表了不同模态数据所抽取的特征以及目标识别的结果。3.根据权利要求1所述的基于多传感器信息融合实时动态智能路径规划方法，其特征在于，在所述步骤S2中：智能路径规划系统通过多传感器单元采集到的环境信息和系统中已存储的栅格地图，实现导航单元在环境地图定位，搜索出能够到达目标地点的路径；进行通行点规划与点间最优轨迹生成并进行线段轨迹间的转接，包括：依据车辆导航任务要求，结合已构建的场景地图信息，通过基于图论算法求取出全局最快通行点；路径搜索在栅格地图中搜寻能够到达目标区域的无障碍连通区域，在所有连
通区域内搜寻通行路径，计算寻优并生成通行点，对通行点连线并做平滑处理，提供满足不同的路径需求的服务，分别设置不同的代价函数满足要求；步骤S2.1：基于多模态导航特征地图的位置识别基于多模态感知地图的自适应位置识别方法将采集的多模态传感器数据按照多模态特征的提取方法进行处理，将生成的多模态特征与事先生成的多模态导航特征地图进行匹配，输出最近邻的定位点位位置信息，完成全天候、全时域位置识别的要求；基于多模态导航特征地图的位置识别包括两部分：多模态特征融合和位置识别；步骤S2.2：全局通行轨迹点计算：基于图论进行双向启发式搜索，以起点到目标点的最短代价路径为目标，搜索路径时对每一个搜索位置进行评估，获取最优通行点，从所得通行点进行搜索直到目标位置为止；输入基于离线或在线多传感器信息所构建的栅格地图信息及执行任务的评估结果，输出离散的导航单元参考轨迹点；步骤S2.3：不同路径规划需求服务：设置不同的代价函数：步骤S2.3.1：速度优先：设置节点之间的代价函数为距离、节点间的速度，即相邻节点所用时间；相邻节点代价函数为其中Cost(i，j)为节点i到节点j所用时间，D
ij
为节点i与节点j之间的距离，V
ij
为节点i到节点j之间的平均速度；步骤S2.3.2：距离优先：设置节点之间的代价函数为距离；步骤S2.3.3：道路优先将符合条件的路段进行代价缩小设置；设置节点之间的代价函数为距离，相邻节点代价函数为：若ij路段非优先考虑路段，代价函数：Cost(i，j)＝D
ij
若ij路段优先考虑路段，代价函数：Cost(i，j)＝coef*D
ij
其中，coef为区间[0，1)内的值；步骤S2.3.4：油耗优先：设置节点之间的代价函数为两个节点之间的耗油量评估值，算法根据耗油量规划出一条耗油最少的路线：Cost(i，j)＝F
ij
其中F
ij
表示ij节点之间的耗油量。步骤S2.3.5：安全优先：构建如下代价函数：
该代价函数用来计算起始栅格到目标栅格的代价值，s
clear
(n)为终点栅格维诺圆的面积，能够从维诺路网中保存的栅格离最近障碍物的距离值计算出来；σ
uneven
(n)为终点栅格的维诺不平度值，能够从维诺不平度地图中查询得到；f
n
为安全优先的代价值，α为路径可行宽度系数，β为路径平稳性系数；栅格通过代价函数计算出的代价值将与该栅格的能够通行的区域的面积成反比，而与该栅格的不平度值成正比，栅格的能够通行的区域面积越大，其代价值越小；而不平度值越大，其代价值越大；安全优先表示路线中保持与障碍物的距离，设置罚函数，使得当靠近障碍物时的代价大；此时设置节点之间的代价函数为距离，距离障碍物近的区域增加罚函数代价，相邻节点代价函数为Cost(i，j)＝D
ij
+W
ij
其中，W
ij
为罚函数，与危险位置有关，设置为二元高斯函数。4.根据权利要求1所述的基于多传感器信息融合实时动态智能路径规划方法，其特征在于，在所述步骤S3中：基于人工势场以及Morphin路径优化方法，综合实现规划与局部路径优化，人工势场法在禁止驶入区域表面构造一个虚拟的斥力场，并在目标位置构造虚拟的引力场，引导车辆向目标位置运动并避开禁止驶入区域；Morphin路径优化方法在车辆在前进方向上生成能够通行的离散通行点路径集合，对每条路径进行性能评估，确定一条性能最佳且安全性符合预设标准的路径作为目标通行的参考轨迹，性能评估以每条路径的动力学性能以及安全通行的可行性进行计算得到该条路径的可通行性。5.根据权利要求1所述的基于多传感器信息融合实时动态智能路径规划方法，其特征在于，在所述步骤S4中：基于规划路线，利用位置信息进行实时导航引导，导航过程实时显示导航相关信息，包括：当前道路信息、当前行驶速度、剩余时间、距离目的地距离；提供实时路况、天气、气象、危险区域、突发事件动态信息的报警功能；实现导航信息智能语音提示功能，导航过程中进行导航信息的实时语音提示，包括：高速出口提示、转弯提示、转弯距离；具有偏离规划路线的重算功能，导航过程中当前位置偏离规划路线一定距离，系统自动提示并进行路线的重新规划。6.一种基于多传感器信息...

【专利技术属性】
技术研发人员：孙哲，黄哲，杨辉，孟雅婷，王凌风，安晓亚，金澄，徐鑫朋，陈景，
申请(专利权)人：华东计算技术研究所中国电子科技集团公司第三十二研究所，
类型：发明
国别省市：