一种基于深度强化学习的停车策略制造技术

本发明专利技术涉及智能驾驶领域，特别涉及一种基于深度强化学习的停车策略。现有技术中，传统的自动泊车系统基于传统的路径规划算法，效果较差；本发明专利技术提供了一种基于深度强化学习的停车方法以及系统，所述方法及系统可由深度强化学习算法获得停车规划路线；以车辆观测状态、车辆预测动作和奖励函数构成元组，基于该元组的泊车规划方法，具有基于产品特点提取特征，使得需要的参数少的特点。此外，基于目标函数：(距离+转向+碰撞)，系数不需要调整；本发明专利技术采用深度强化学习的方式来提取特征，具有整体规划时间快，对外界的反应快等有益的技术效果。

A Parking Strategy Based on Deep Reinforcement Learning

【技术实现步骤摘要】
一种基于深度强化学习的停车策略
本专利技术涉及交通工具
，特别涉及一种基于深度强化学习的停车策略。
技术介绍
目前对于自动泊车技术主要的技术路线是基于传统的路径规划算法，如RRT、PRM、A*等。其基本思想是在预先制作好的场景地图内，随机产生路径，之后对随机生成的路径进行碰撞检测，即检测路径是否会穿过障碍物，或路径是否在车辆可行驶区域内。再在所有可行的路径中，利用迪杰斯特拉算法等方法选择其中最优的停车路径。但是，上述现有技术存在以下缺陷：由于现有技术需要先产生随机路径，当场景较为复杂时(障碍物较多、车位狭小)，难以产生可行的路径，使得最终得到的规划路径质量较差；现有技术针对不同的场景(不同车库、甚至同一车库的不同车位)都需要重新进行计算其最优路径，使得其泛化能力较差；传统算法对于地图精度有较高的要求，因而在应用有较大噪声的传感器输入(如：相机、Lidar等)时，规划效果较差。对规划路径的选择较少，缺少选择最优解的可选规划路径数量。
技术实现思路
为解决了现有技术中的技术问题。本专利技术提供了一种基于深度强化学习的停车方法，其特征在于：所述方法可由深度强化学习算法获得停车规划路线；在深度强化学习算法的训练过程中,由车辆观测状态、车辆预测动作和奖励函数构成元组，所述元组每隔规定时间更新一次；根据当前车辆观测状态,输出预测动作和奖励函数进行路线规划，当元组更新一次后，根据更新后的车辆观测状态,输出预测动作和奖励函数进行再一次的路线规划，直至车辆到达目标车位；由此可以得到奖励函数值最高的停车规划路线。优选的，所述车辆观测状态包括车辆坐标(x,y,yaw)，其中,x,y分别表示车辆转向中心在可行区域的坐标系下的x坐标与y坐标，yaw为车辆当前姿态与x轴的角度。优选的，传感器信息为车辆四个角点处安装的传感器测量得到的各角点到最近障碍物的距离。优选的，所述车辆预测动作包括车辆线速度和车辆转向角度。优选的，所述奖励函数表示车辆的终止状态与目标车位的距离，车辆的终止状态越接近目标车位，获得的奖励值r越高。优选的，在采用深度强化学习算法来训练停车策略的过程中，建立第一神经网络和第二神经网络，其中,所述第一神经网络采用车辆观测状态作为输入，输出奖励函数的函数值用于量化当前状态的好坏；第二神经网络采用车辆观测状态作为输入，输出车辆预测动作。优选的，所述停车规划路线的优越程度可通过以下公式进行评价：Y＝a*distance(carposition,targetposition)+b*abs(caryaw-targetyaw)+c*targetreached其中,Y表示停车路径的优越程度；a,b表示控制任务完成度；c表示任务完成的额外奖励；假设规划任务的空间(即上述可行区域)大小为L米*L米，则a＝1/L；b＝1/2π；c＝1，distance()函数返回车辆转向中心距离目标车位点的距离，abs()函数为取括号内数的绝对值，targetreached表明车辆是否到达目标车位，如果车辆到达目标车位，则targetreach＝1，否则，targetreach＝0。本专利技术实施例还提供了一种基于深度强化学习的停车路线获取系统，其特征在于：所述系统可由深度强化学习算法系统获得停车规划路线；在深度强化学习算法系统的训练过程中,由车辆观测状态、车辆预测动作和奖励函数构成元组，所述元组每隔规定时间更新一次；根据当前车辆观测状态,输出预测动作和奖励函数进行路线规划，当元组更新一次后，根据更新后的车辆观测状态,输出预测动作和奖励函数进行再一次的路线规划，直至车辆到达目标车位；由此可以得到奖励函数值最高的停车规划路线。优选的，所述车辆观测状态包括车辆坐标(x,y,yaw)，其中,x,y分别表示车辆转向中心在可行区域的坐标系下的x坐标与y坐标，yaw为车辆当前姿态与x轴的角度。优选的，传感器信息为车辆四个角点处安装的传感器测量得到的各角点到最近障碍物的距离。优选的，所述车辆预测动作包括车辆线速度和车辆转向角度。优选的，所述奖励函数表示车辆的终止状态与目标车位的距离，车辆的终止状态越接近目标车位，获得的奖励值r越高。优选的，在采用深度强化学习算法来训练停车策略的过程中，建立第一神经网络和第二神经网络，其中,所述第一神经网络采用车辆观测状态作为输入，输出奖励函数的函数值用于量化当前状态的好坏；第二神经网络采用车辆观测状态作为输入，输出车辆预测动作。优选的，所述停车规划路线的优越程度可通过以下公式进行评价：Y＝a*distance(carposition,targetposition)+b*abs(caryaw-targetyaw)+c*targetreached。其中，Y表示停车路径的优越程度；a,b表示控制任务完成度；c表示任务完成的额外奖励；假设规划任务的空间(即上述可行区域)大小为L米*L米，则a＝1/L；b＝1/2π；c＝1，distance()函数返回车辆转向中心距离目标车位点的距离，abs()函数为取括号内数的绝对值，targetreached表明车辆是否到达目标车位，如果车辆到达目标车位，则targetreach＝1，否则，targetreach＝0。本专利技术的专利技术点包括如下几个方面，但不仅限于这几个方面：(1)提出了以车辆观测状态、车辆预测动作和奖励函数构成元组，基于该元组的泊车规划方法，具有基于产品特点提取特征，使得需要的参数少；基于目标函数：(距离+转向+碰撞)，系数不需要调整。这是本专利技术的专利技术点之一。举例来说，只需要提取车辆的观测状态o，基于观测状态o即可输出预测动作a，车辆执行预测动作a后，再基于执行预测动作a后的观测状态o输出预测动作a，车辆再执行预测动作a，以此类推循环，经过多次输出预测动作a，即可得到由车辆初始位置行驶至目标车位的停车策略，由于该过程中只需要提取车辆的观测状态o，使得获取停车策略所需要的参数相对较少。在获取停车策略的过程中是需要实时提取车辆的观测状态o，主要是获取坐标、与障碍物的距离等参数，使得对地图精度的要求相对较低；在获取停车策略的过程中，由于是基于实时提取的车辆的观测状态o输出预测动作a，经过多次基于观测状态o预测动作a的重复过程，即使目标车位发生变化，也无需重新进行规划，继续基于当前的观测状态o输出预测动作a即可，有利于提高其泛化能力；这是本专利技术的专利技术点之一。(2)本申请采用深度强化学习的方式来提取特征，采用深度强化学习的方法相比于传统的特征提取方法，具有整体规划时间更快，对外界的反应更快等突出的技术效果。这是本专利技术的专利技术点之一。(3)通过建立合适的公式算法Y来衡量停车规划路线的优越程度，使得最终的停车规划路线更加科学。在这一公式中创造性的使用了表示控制任务完成度的两个参数；以及表示任务完成的额外奖励的参数，对优越程度的衡量更加全面，这是本专利技术的专利技术点之一。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，并不构成对本专利技术的限定。在附图中：图1是本专利技术实施例提供的一种环境设计的示意图；图2是本专利技术实施例提供的一种的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本专利技术做进一步详细说明。在此，本专利技术的示意性实施方式及其说明用于解释本本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的停车方法，其特征在于：所述方法可由深度强化学习算法获得停车规划路线；在深度强化学习算法的训练过程中，由车辆观测状态、车辆预测动作和奖励函数构成元组，所述元组每隔规定时间更新一次；根据当前车辆观测状态,输出预测动作和奖励函数进行路线规划，当元组更新一次后，根据更新后的车辆观测状态,输出预测动作和奖励函数进行再一次的路线规划，直至车辆到达目标车位；由此可以得到奖励函数值最高的停车规划路线。

【技术特征摘要】
1.一种基于深度强化学习的停车方法，其特征在于：所述方法可由深度强化学习算法获得停车规划路线；在深度强化学习算法的训练过程中，由车辆观测状态、车辆预测动作和奖励函数构成元组，所述元组每隔规定时间更新一次；根据当前车辆观测状态,输出预测动作和奖励函数进行路线规划，当元组更新一次后，根据更新后的车辆观测状态,输出预测动作和奖励函数进行再一次的路线规划，直至车辆到达目标车位；由此可以得到奖励函数值最高的停车规划路线。2.根据权利要求1所述的方法，其特征在于：所述车辆观测状态包括车辆坐标(x,y,yaw)，其中，x,y分别表示车辆转向中心在可行区域的坐标系下的x坐标与y坐标，yaw为车辆当前姿态与x轴的角度。3.根据权利要求2所述的方法，其特征在于：传感器信息为车辆四个角点处安装的传感器测量得到的各角点到最近障碍物的距离。4.根据权利要求1-3所述的方法，其特征在于：所述车辆预测动作包括车辆线速度和车辆转向角度。5.根据权利要求1-4所述的方法，其特征在于：所述奖励函数表示车辆的终止状态与目标车位的距离，车辆的终止状态越接近目标车位，获得的奖励值r越高。6.根据权利要求1-5所述的方法，其特征在于：在采用深度强化学习算法来训练停车策略的过程中，建立第一神经网络和第二神经网络，其中,所述第一神经网络采用车辆观测状态作为输入，输出奖励函数的函数值用于量化当前状态的好坏；第二神经网络采用车辆观测状态作为输入，输出车辆预测动作。7.根据权利要求1所述的系统，其特征在于：所述停车规划路线的优越程度可通过以下公式进行评价：Y＝a*distance(carposition,targetposition)+b*abs(caryaw-argetyaw)+c*targetreached；其中，Y表示停车路径的优越程度；a,b表示控制任务完成度；c表示任务完成的额外奖励；假设规划任务的空间(即上述可行区域)大小为L米*L米，则a＝1/L；b＝1/2π；c＝1，distance()函数返回车辆转向中心距离目标车位点的距离，abs()函数为取括号内数的绝对值，targetreached表明车辆是否到达目标车位，如果车辆到达目标车位，则targetreach＝1，否则，targetreach＝0。8.一种基于深度强化学...

【专利技术属性】
技术研发人员：王宇舟，
申请(专利权)人：初速度苏州科技有限公司，
类型：发明
国别省市：江苏,32