基于目标分层双感知域的强化学习的无人车路径规划方法技术

本发明专利技术公布了基于目标分层双感知域的强化学习的无人车路径规划方法，充分考虑无人车的动力学约束；通过设定子目标层级缩小地图区域的维度；通过目标分层方法使得子目标层处在安全区的中间部位；通过设置双感知域包括障碍物感知域和目标发现域减少观测输入，将障碍物感知和目标发现分开解耦；实现基于目标分层双感知域的深度强化学习的无人车路径规划。本发明专利技术方法对不同维度的地图都能够适应使用，且在训练中避免了维数灾难，计算效率高，适用性强，能够满足实时路径规划的实际需求。能够满足实时路径规划的实际需求。能够满足实时路径规划的实际需求。

【技术实现步骤摘要】
基于目标分层双感知域的强化学习的无人车路径规划方法


[0001]本专利技术涉及机器人路径规划
，特别涉及一种基于目标分层双感知域的深度强化学习的无人车路径规划方法。

技术介绍

[0002]路径规划是无人车系统架构中运动决策的重要模块，是实现无人运动的重要技术。路径规划结果的好坏直接决定了无人车任务能否完成以及任务完成的质量。设计和开发满足车辆动力学约束，计算快速性，规划实时性和最优性指标的路径规划算法是路径规划面临的主要任务。近些年，路径规划的研究非常的活跃，尤其在人工智能技术取得了巨大成果的今天，如何利用人工智能技术发展和完善路径规划技术成为了重要的研究课题。
[0003]基于深度强化学习的路径规划算法已经有了一些初步的成果，但现有的路径规划算法大多是针对特定维度的地图进行强化学习路径规划。这些算法存在着如下问题：首先，当面对不同维度的地图时，由深度强化学习训练出的路径规划器不具有普适性，针对不同维度的地图，需要重新进行训练；其次，随着地图维度的增大，训练的复杂度呈现指数级增长，可能会出现维数灾难的问题；最后，还有很多的深度强化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标分层双感知域的强化学习的无人车路径规划方法，其特征是，考虑无人车的动力学约束；通过设定子目标层级缩小用于路径规划的地图区域的维度；通过目标分层方法使得子目标层处在安全区走廊的中间部位；通过设置双感知域包括障碍物感知域和目标发现域，将障碍物感知和目标发现分开解耦；由此建立基于目标分层的深度强化学习无人车路径规划网络模型，实现基于目标分层双感知域的深度强化学习的无人车路径规划；包括如下步骤：步骤1，读取无人车行驶区域的二维像素地图，进行坐标转换和全局对齐后获得用于路径规划的世界地图；从世界地图中提取出障碍物位置，并获取当前无人车的位置状态和目标位置状态；步骤2，根据世界地图搜索得到一条可通行路径，进一步得到沿所述可通行路径的安全区走廊，根据安全区走廊，再使用目标分层方法获得子目标点序列；所述安全区走廊用于子目标点序列的生成和奖励函数的定义；所述子目标点序列包括所有一级子目标点和二级子目标点；安全区走廊内相邻安全区的相互重叠部分的几何中心点为一级子目标点；在两个一级子目标点的连线间均匀分割出多个二级子目标点，两个二级子目标点间的距离要小于无人车的最大转弯半径；步骤3，建立基于无人车车体动力学和动力学约束的交互环境，建立围绕无人车的障碍物感知域和目标发现域；通过障碍物感知域得到感知点阵，获得感知点阵的环境信息，即有无障碍物；通过目标发现域获取实际子目标点；目标发现域是由以车后轮轴中心点P为中心、以R为半径的圆区域；其中R要大于无人车最大转弯半径的1.5倍以上； 基于步骤2得到的子目标点序列，目标发现域用来搜索得到无人车周围在此域内距离目标点最近的子目标点，将其作为无人车的实际子目标点，实际子目标点为无人车暂时行进要到达的点；在无人车不断前进过程中，根据目标发现域内不断的出现离目标点更近的子目标点，实时地更新实际子目标点；步骤4，建立无人车与环境交互的奖惩函数，建立基于目标分层的深度强化学习无人车路径规划网络模型并进行训练；通过无人车与环境交互，收集到每一轮的状态信息、动作信息和奖惩信息，将感知点阵有无障碍物的环境信息、实际子目标点以及无人车当前的位置状态，作为建立的神经网络模型的输入，对深度神经网络进行训练，得到训练好的基于目标分层的深度强化学习无人车路径规划网络模型；步骤5，利用训练好的深度强化学习路径规划网络模型，输入待规划的无人车相应数据，模型输出得到规划好的平滑路径；通过上述步骤，即实现基于目标分层双感知域的强化学习的无人车路径规划。2.如权利要求1所述基于目标分层双感知域的强化学习的无人车路径规划方法，其特征是，步骤2中，获取子目标点序列的方法包括如下步骤：步骤2A, 基于步骤1得到的地图和无人车当前位置以及目标位置，通过使用基于图搜索的算法搜索出一条可通行路径；可通行路径即是从无人车起始位置点到目标位置点、由一系列避开障碍物位置点的连续相接的点组成的路径；步骤2B, 沿着步骤2A得到的可通行路径，围绕可通行路径中的每个路径点，产生包含
此路径点的最大范围的长方形无障碍安全区；进一步形成一条相互重叠安全区组成的安全区走廊；安全区走廊的产生方法为：1）定义长方形安全区的四个顶点：A,B,C,D，由此得到长方形的四个边：AB,BC,CD,DA,将这四个顶点的位置都初始化为路径点的位置坐标；2）将这四条边依次向四周扩张，检测边与障碍物的接触情况，直到扩张到障碍物边界，最终得到包含该路径点的最大无障碍物长方形安全区；3）沿着每个路径点扩张其最大无障碍物长方形安全区，如若不同路径点对应的安全区内包含相同的路径点，只保留其中一个安全区，形成一条相互重叠安全区组成的安全区走廊；安全区走廊用于子目标...

【专利技术属性】
技术研发人员：吕晓旭，张钊，杨拓，任耘霄，段志生，
申请(专利权)人：北京大学，
类型：发明
国别省市：