一种基于深度强化学习的智能电动汽车漂移入库控制方法技术

本发明专利技术涉及一种基于深度强化学习的智能电动汽车漂移入库控制方法，包括以下步骤：1)构建用于深度强化学习的车辆动力学模型以及轮胎力饱和工况下的轮胎模型；2)采用面向漂移入库控制的TD3算法实现智能电动汽车漂移入库。与现有技术相比，本发明专利技术控制精度高、鲁棒性好，能够使车辆准确完成漂移入库动作，并且在漂移过程中可以通过不断调节方向盘转角来使车辆准确到达库位，而且在车辆漂移的过程中可主动改变库位的中心位置，使车辆向更新后的库位位置漂移。

【技术实现步骤摘要】
一种基于深度强化学习的智能电动汽车漂移入库控制方法
本专利技术涉及汽车入库控制领域，尤其是涉及一种基于深度强化学习的智能电动汽车漂移入库控制方法。
技术介绍
车辆持续保持在后轮轮胎力饱和、后轴侧滑的状态下行驶，称为漂移，存在两种不同的漂移状态：(1)后轴驱动、后轮滑转，此时可以通过控制后轴驱动力与前轮转向角时车辆质心侧偏角和车速保持在一恒定值，使车辆处于稳定状态，由于市面上绝大多数汽车为前轴驱动，故该状态下的漂移动作研究价值相对较小。(2)按照开环控制律复现漂移动作可能受到外界环境和自车状态的干扰，使车辆无法漂移停入库位，例如，由于库位接近过程存在侧向位移误差和航向角误差，车辆在触发漂移动作时未完全满足预设的漂移触发位姿状态，存在一定偏差，根据开环控制器完成漂移动作会将该偏差保留至漂移结束；另外，由于底层执行器响应限制，开环控制下无法保证每一次执行器响应一致，当响应出现偏差时车辆会偏移预设的漂移轨迹；路面不均一造成漂移过程中轮胎力的突变，使漂移路径发生改变。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度强化学习的智能电动汽车漂移入库控制方法，本专利技术基于深度强化学习的无人驾驶汽车漂移入库动作的研究与实现，设计漂移控制器，根据车辆与库位间的相对位置和车辆状态参数调整方向盘转角，使车辆漂移停入库位。本专利技术的目的可以通过以下技术方案来实现：1.一种基于深度强化学习的智能电动汽车漂移入库控制方法，其特征在于，包括以下步骤：1)构建用于深度强化学习的车辆动力学模型以及轮胎力饱和工况下的轮胎模型；2)采用面向漂移入库控制的TD3算法实现智能电动汽车漂移入库。所述的步骤1)中，车辆动力学模型具体为考虑前后与左右载荷转移的四轮三自由度车辆动力学模型，所述的三自由度包括车辆质心处速度vm、质心侧偏角β和横摆角速度ω。四轮三自由度车辆动力学模型中，考虑纵侧向加速度的四轮垂向力的表达式为：式中，hm为质心高度，bf、br为前、后轮距，ax、ay为质心处不考虑车身旋转影响的纵、侧向加速度，FzFL、FzFR、FzRL、FzRR分别为左前、右前、左后、右后车轮的垂向力，m为电动汽车质量，g为重力加速度，l为轴距，lf、lr为前、后轴到质心的距离，FxFL、FxFR、FxRL、FxRR分别为左前、右前、左后、右后车轮的纵向力，FyFL、FyFR、FyRL、FyRR分别为左前、右前、左后、右后车轮的侧向力，δ为前轮转角。在漂移过程中，考虑到载荷转移过大导致某一个车轮离地，出现使得该车轮的垂向载荷降为0、载荷转移达到上限的情况，当方向盘向左转漂移，载荷向右侧转移，左后轮离地时，则左后轮的垂向力为0，此时，根据纵侧向加速度、轴距和轮距将过多转移的载荷重新分配至左前轮和右后轮，则有：ΔFtrans＝|FzRL|F′zRL＝0其中，ΔFtrans为过多转移的载荷，F′zRL为分配后左后轮的垂向力，F′zRR为分配后右后轮的垂向力，F′zFL为分配后左前轮的垂向力。对考虑前后与左右载荷转移的四轮三自由度车辆动力学模型进行受力分析，得到车辆动力学平衡方程为：φ＝β+ψ据此计算得到车辆纵向车速vmx和侧向车速vmy，则有：vmx＝vm·cosβvmy＝vm·sinβ其中，为车辆质心处速度的变化率，为质心侧偏角速度，φ为质心处车速全局方位角，为质心处车速全局方位角速度，为横摆角速度的变化率，ψ为车头全局方位角，Iz为横摆转动惯量，vx为车辆纵向车速，vy为车辆侧向车速。所述的步骤1)中，用于深度强化学习训练的轮胎模型包括前轮轮胎力模型和后轮轮胎力模型。对于后轮轮胎力模型，在漂移过程中，后轮制动抱死并在路面上纯摩擦，后轮的轮胎力方向与车轮轮心瞬时速度的方向相反，通过对后轮进行受力分析得到后轮纵侧向轮胎力分量的表达式为：对于左后轮：对于右后轮：Fr_sat＝μ1Fz其中，vxRL、vyRL分别为左后轮轮心处纵、侧向速度，vxRR、vyRR分别为右后轮轮心处纵、侧向速度，λL、λR分别为左、右后轮轮心侧偏角，FxRL、FyRL分别为左后轮纵、侧向力，FxRR、FyRR分别为右后轮纵、侧向力，FrRL_sat、FrRR_sat分别为左、右后轮水平饱和轮胎力，Fr_sat表示对应车轮水平饱和轮胎力，μ1为车轮抱死时路面利用附着系数，Fz表示对应车轮的垂向力。对于前轮轮胎力模型，在漂移过程中，前轮轮胎力尚未饱和，则采用改进Burckhardt轮胎模型对轮胎力进行拟合，用以表述侧向力与侧偏角的关系，则有：其中，θ1～θ5为拟合参数，α为前轮侧偏角；左轮侧偏角αL和右轮侧偏角αR可通过以下公式求得：由于前轮未施加制动力和驱动力，处于自由滚动状态，有FxFL＝0，FxFR＝0，在确定前轮轮胎力方向时仅考虑侧向力，则前轮轮胎力方向垂直于轮胎平面，由前轮转向角决定。所述的步骤2)具体包括以下步骤：21)设计面向漂移入库控制的TD3算法，构建Actor网络和Critic网络，具体为：Critic网络和Actor网络均为由全连接层组成的BP神经网络，Critic网络的输入为车辆状态和动作，输出为Q值，Actor网络的输入为车辆状态，输出为动作，所述的车辆状态为表征漂移过程车辆状态的参数，包括以车辆质心为原点，车头朝向为y轴正方向的相对坐标系下库位坐标(ex、ey)和库位朝向车辆质心处速度vm、质心侧偏角β以及横摆角速度ω，所述的动作为方向盘转角；22)构建奖励函数r(k)，则有：其中，wx、wy、分别为ex、ey和的权重，k为时间；23)对Actor网络和Critic网络进行训练，并据此完成智能电动汽车漂移入库。在步骤23)中，对Actor网络和Critic网络进行训练前，先确定漂移入库控制器的边界，根据该边界对每次车辆漂移的目标库位位置进行随机取值，在迭代训练中，车辆以随机选取的目标库位位置和朝向计算车辆状态，并据此对Critic网络和Actor网络进行训练，通过在训练过程中随机更新目标库位位置，拓展训练数据集，提升化能力。与现有技术相比，本专利技术具有以下优点：一、基于深度强化学习TD3算法设计了一种智能电动汽车漂移入库的控制方法，提高了控制精度，克服了由于路面不均匀造成的漂移入库存在误差的问题，也可以改变库位中心点，使车辆向更新后的库位位置移动，提高了控制系统的鲁棒性。二、漂移入库的过程中可以通过不断调整方向盘角度使车辆调整位姿，使车辆准确的漂移入库。附图说明图1为本专利技术的方法流程图。图2为漂移过程部分状态参数定义示意图。...

【技术保护点】
1.一种基于深度强化学习的智能电动汽车漂移入库控制方法，其特征在于，包括以下步骤：/n1)构建用于深度强化学习的车辆动力学模型以及轮胎力饱和工况下的轮胎模型；/n2)采用面向漂移入库控制的TD3算法实现智能电动汽车漂移入库。/n

【技术特征摘要】
1.一种基于深度强化学习的智能电动汽车漂移入库控制方法，其特征在于，包括以下步骤：
1)构建用于深度强化学习的车辆动力学模型以及轮胎力饱和工况下的轮胎模型；
2)采用面向漂移入库控制的TD3算法实现智能电动汽车漂移入库。


2.根据权利要求1所述的一种基于深度强化学习的智能电动汽车漂移入库控制方法，其特征在于，所述的步骤1)中，车辆动力学模型具体为考虑前后与左右载荷转移的四轮三自由度车辆动力学模型，所述的三自由度包括车辆质心处速度vm、质心侧偏角β和横摆角速度ω。


3.根据权利要求2所述的一种基于深度强化学习的智能电动汽车漂移入库控制方法，其特征在于，四轮三自由度车辆动力学模型中，考虑纵侧向加速度的四轮垂向力的表达式为：


















式中，hm为质心高度，bf、br为前、后轮距，ax、ay为质心处不考虑车身旋转影响的纵、侧向加速度，FzFL、FzFR、FzRL、FzRR分别为左前、右前、左后、右后车轮的垂向力，m为电动汽车质量，g为重力加速度，l为轴距，lf、lr为前、后轴到质心的距离，FxFL、FxFR、FxRL、FxRR分别为左前、右前、左后、右后车轮的纵向力，FyFL、FyFR、FyRL、FyRR分别为左前、右前、左后、右后车轮的侧向力，δ为前轮转角。


4.根据权利要求3所述的一种基于深度强化学习的智能电动汽车漂移入库控制方法，其特征在于，在漂移过程中，考虑到载荷转移过大导致某一个车轮离地，出现使得该车轮的垂向载荷降为0、载荷转移达到上限的情况，当方向盘向左转漂移，载荷向右侧转移，左后轮离地时，则左后轮的垂向力为0，此时，根据纵侧向加速度、轴距和轮距将过多转移的载荷重新分配至左前轮和右后轮，则有：
ΔFtrans＝|FzRL|
F′zRL＝0






其中，ΔFtrans为过多转移的载荷，F′zRL为分配后左后轮的垂向力，F′zRR为分配后右后轮的垂向力，F′zFL为分配后左前轮的垂向力。


5.根据权利要求4所述的一种基于深度强化学习的智能电动汽车漂移入库控制方法，其特征在于，对考虑前后与左右载荷转移的四轮三自由度车辆动力学模型进行受力分析，得到车辆动力学平衡方程为：






φ＝β+ψ









据此计算得到车辆纵向车速vmx和侧向车速vmy，则有：
vmx＝vm·cosβ
vmy＝vm·sinβ
其中，为车辆质心处速度的变化率，为质心侧偏角速度，φ为质心处车速全局方位角，为质心处车速全局方位角速度，为横摆角速度的变化率，ψ为车头全局方位角，Iz为横摆转动惯量，vx为车辆纵向车速，vy为车辆侧向车速。


6.根据权利要求5所述的一种基于深度强化学习的智能电动汽车漂移入库控制方法，其特征在于，所述的步骤1)中，用于深度强化学习训练...

【专利技术属性】
技术研发人员：冷搏，刘铭，熊璐，余卓平，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31