一种基于竞争深度Q网络的车辆纵向动力学标定方法技术

本发明专利技术公开了一种基于竞争深度Q网络的车辆纵向动力学标定方法，包括如下步骤：获取车辆载重状态、速度、前后车距离信息以及前后车速度，建立车辆纵向行驶坐标系；建立竞争深度Q网络模型并训练；实时采集车辆纵向行驶坐标系中的参数，放入车辆纵向行驶坐标系中，并通过训练好的竞争深度Q网络模型预测与前方车辆保持一致的速度、保持同样速度所需要的刹车和油门的开合度百分比，以此保持和前车的最小安全距离；根据预测结果对车辆进行控制使车辆处于安全行驶状态。本发明专利技术通过使用竞争深度Q网络使车辆在高速公路中控制车辆加速或减速反应更快，保持控制过程更加平稳，平均速度更快，能够有效提高自动驾驶车辆的舒适性，并有效降低发生交通事故的风险。发生交通事故的风险。发生交通事故的风险。

【技术实现步骤摘要】
一种基于竞争深度Q网络的车辆纵向动力学标定方法


[0001]本专利技术涉及一种基于竞争深度Q网络的车辆纵向动力学标定方法。

技术介绍

[0002]人工智能技术在不断地发展，特别是深度强化学习的发展与应用，人工智能技术在自动驾驶领域应用非常广泛。自动驾驶系统中，车载毫米波雷达获取同车道车辆的距离和通过车载摄像头预测前车速度，控制模块通过对车辆的位置误差、速度误差进行计算和校正，使车辆始终处于安全行驶速度状态。现在的高速公路上有很多快递大货车，每到一个地区就会卸载或者装货，使车辆载重发生变化，不同的车辆载重进行车辆加速或者减速导致的油门的开合度是不一样的，车辆载重和油门的开合度对应一定的关系。不同的车辆对应自身载重又是不一样的。现有的控制方法难以实现不同车辆在不同载重情况下快速控制车辆加速或减速保持安全速度和安全距离。

技术实现思路

[0003]为了解决上述技术问题，本专利技术提供一种算法简单、安全可靠的基于竞争深度Q网络的车辆纵向动力学标定方法。
[0004]本专利技术解决上述技术问题的技术方案是：一种基于竞争深度Q网络的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于竞争深度Q网络的车辆纵向动力学标定方法，其特征在于，使用竞争深度Q网络模型在车辆载重发生变化时，预测车辆安全行驶时的速度，并控制油门和刹车始终在纵向行驶时保持安全状态，具体包括如下步骤：S1：获取车辆载重状态、速度、前后车距离信息以及前后车速度，建立车辆纵向行驶坐标系；S2：根据获取的信息建立竞争深度Q网络模型，模型的输入为车辆载重状态、速度、前后车距离信息；S3：预采集竞争深度Q网络模型的参数，对竞争深度Q网络模型进行训练，得到训练好的竞争深度Q网络模型；S4：实时采集车辆纵向行驶坐标系中的参数，放入车辆纵向行驶坐标系中，并通过训练好的竞争深度Q网络模型预测与前方车辆保持一致的速度、保持同样速度所需要的刹车和油门的开合度百分比，以此保持和前车的最小安全距离；S5:根据步骤S4中的预测结果对车辆进行控制使车辆处于安全行驶状态。2.根据权利要求1所述的基于竞争深度Q网络的车辆纵向动力学标定方法，其特征在于，所述步骤S2中，首先构建自动驾驶车辆纵向标定算法模型，确定模型网络结构，将车辆纵向驾驶行为优化策略模型转化为马尔可夫决策过程模型：其中，所述马尔可夫决策过程是一个五元组<S,A,P,R,γ>模型，包括状态空间S＝{s1,s2,...,s
t
}、动作空间A＝{a1,a2,...,a
t
}、状态转移概率矩阵P、奖励函数R、折扣因子γ，s
t
表示时间t时刻的状态，a
t
表示t时刻状态下选择的动作；竞争深度Q网络模型Dueling DQN把Q值函数拆分为状态值函数V(s)和优势函数A(s,a；θ,α)，所以有：Q(s,a；θ,α,β)＝V(s；θ,β)+A(s,a；θ,α)其中V(s；θ,β)是状态值函数，输出一个标量，A(s,a；θ,α)是优势函数，输出一个矢量，矢量长度等于动作空间大小；s表示状态，θ指网络卷积层的参数；α和β别是2个分支的全连接层的参数；竞争深度Q网络模型Dueling DQN中包括两个结构相同但是参数不同的神经网络，即目标神经网络和当前神经网络，当前神经网络用于计算当前状态，即当前状态s
t
下每一个动作a的Q值Q(s
t
,a
t
)，a表示当前车辆加速或者减速的动作，目标神经网络计算用于下一个状态s
t+1
下每一个动作a的Q值Q(s
t+1
,a
t
)。3.根据权利要求2所述的基于竞争深度Q网络的车辆纵向动力学标定方法，其特征在于，所述步骤S2中，竞争深度Q网络的输入层为车辆位置信息L
t
＝(X
t
,Y
t
,V
t
)、前方车辆信息C
f
＝(X
f
,Y
f
,D
f
,V
f
)、后方车辆信息C
b
＝(X
b
,Y
b
,D
b
,V
b
)，X
t
、Y
t
是当前车辆纵向标定坐标系中的x、y坐标，V
t
是当前车辆的速度；X
f
、Y
f
为前方位置在纵向标定坐标系里的x、y坐标，D
f
是前车与主车的距离，V
f

【专利技术属性】
技术研发人员：何吕，罗彪，孟步敏，张东波，
申请(专利权)人：湘潭大学，
类型：发明
国别省市：