基于交通信息与深度强化学习的混合动力汽车能量管理方法技术

本发明专利技术涉及一种基于交通信息与深度强化学习的混合动力汽车能量管理方法，属于新能源汽车控制领域。该方法包括：S1：获取历史交通数据与实时道路交通信息；S2:考虑安全性与舒适性，采用深度强化学习算法规划自车实时最优车速；S3：采用深度强化学习算法求解混合动力汽车能量管理问题，以及求解包含燃油消耗与电池SOC维持的多目标优化问题。本发明专利技术结合交通信息，运用深度强化学习对混合动力汽车进行速度规划与能量管理，具有良好的实时性与最优性，实现了对驾驶安全性、舒适性与燃油经济性的优化，为混合动力汽车能量管理提供了新思路。为混合动力汽车能量管理提供了新思路。为混合动力汽车能量管理提供了新思路。

【技术实现步骤摘要】
基于交通信息与深度强化学习的混合动力汽车能量管理方法


[0001]本专利技术属于新能源汽车控制领域，涉及一种基于交通信息与深度强化学习的混合动力汽车能量管理方法。

技术介绍

[0002]在城市交通场景下，车辆的速度规划很大程度上决定了车辆行驶的安全性、驾驶舒适性与燃油经济性。在获取道路信息方面，人类驾驶员无法获得具体的交通灯信息与前车信息，导致车辆容易在红绿灯前频繁启停，以及与前车间的距离过小。并且现阶段车与车之间的通信引入不久，V2V的假设很难成立；在控制效果方面，传统基于规则的速度规划在节能与提升驾驶舒适性等方面上的效果有限。因此在现有智能网联技术普及较低的情景下，利用车路通信V2I获得红绿灯信息，再利用现有手段合理获得前车信息，将这些信息应用于车速优化，对提高车辆行驶的安全性、通行效率与舒适性有着重要意义。
[0003]随着环境污染的加深以及节能减排的需要，新能源汽车的发展势在必行。混合动力汽车作为新能源汽车的一种，兼具传统能源汽车与纯电动汽车的优点，在兼顾续航里程的基础上，又降低了燃油消耗。能量管理策略作为混合动力汽车控制的核心技术，决定了整车的燃油经济性。能量管理策略包含以下几类：基于规则的能量管理策略，基于优化的能量管理策略，基于学习的能量管理策略。其中，基于规则的能量管理策略控制方法，虽然能够实时执行，但是无法保证最优性；基于全局优化的能量管理策略能够达到最优的控制方案，但是所需要的计算时间很长，无法实时应用。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于交通信息与深度强化学习的混合动力汽车能量管理方法，提高城市道路下混合动力汽车行驶的安全性，驾乘舒适性与燃油经济性。
[0005]为达到上述目的，本专利技术提供如下技术方案：
[0006]一种基于交通信息与深度强化学习的混合动力汽车能量管理方法，具体包括以下步骤：
[0007]S1：获取历史交通数据与实时道路交通信息；
[0008]S2:考虑安全性与舒适性，采用深度强化学习算法规划自车实时最优车速；
[0009]S3：采用深度强化学习算法求解混合动力汽车能量管理问题，以及求解包含燃油消耗与电池SOC维持的多目标优化问题。
[0010]进一步，步骤S1中，获取的历史交通数据，主要包括：红绿灯相位信息与车辆速度和位置信息，并建立城市工况交通模型，为深度强化学习的训练提供数据支持；基于车路通信V2I获得道路工况信息，基于传感器获得前车信息，基于全球定位系统获取自车信息，用于实时速度规划；
[0011]获取的实时道路交通信息包括：
[0012]前车运动信息，包括：前车车速信息，自车与前车距离信息；
[0013]自车运动信息，包括：当前时刻车辆实际车速，当前时刻车辆行驶距离；
[0014]道路工况信息，包括：红绿灯相位信息，自车与前方红绿灯距离与道路限速信息。
[0015]进一步，步骤S2中，采用深度强化学习算法规划自车实时最优车速，具体包括以下步骤：
[0016]S21：设计场景划分器，根据与前方目标距离关系确定自车驾驶场景；
[0017]S22：确定当前场景下驾驶的安全车速；
[0018]S23：采用深度强化学习算法求解兼顾安全性与驾驶舒适性的最优目标车速。
[0019]进一步，步骤S21具体包括：根据与前方目标的距离以及红绿灯状态进行驾驶场景划分：
[0020][0021]其中，Δs
max
为最大刹车距离，s0为自车制动后应与前车保持的最大安全距离，τ
′2为制动器空行程时间，τ
″2为制动器制动力增长过程所需时间，τ2＝τ
′2+τ
″2总称为制动器的作用时间，a
b max
为最大减速度，v为车速；
[0022]通过车路通信获取下一路口红绿灯信息，为便于计算，将黄灯时间并入绿灯内，得到红绿灯切换到下一阶段的时间为t
r
；自车到达红绿灯所需时间t
d
为：
[0023][0024]其中，d为自车离红绿灯的距离，a
max
为最大加速度；当自车与前方红绿灯的距离小于Δs
max
时，如果当前为红灯且t
r
＞t
d
，或者信号灯为绿灯并且t
r
＜t
d
，自车无法不停车通过红绿灯；
[0025]通过判断红绿灯信息与刹车范围Δs
max
内是否存在目标，来划分驾驶场景：
[0026]I.与前车、红绿灯的距离均大于Δs
max
时，自车为自由驾驶模式；
[0027]II.与前车的距离s小于Δs
max
，与红绿灯的距离d大于Δs
max
时，自车为跟车模式；
[0028]III.与前车的距离s大于Δs
max
，与红绿灯的距离d小于Δs
max
时：如果信号灯为红灯并且t
r
＞t
d
，或者信号灯为绿灯并且t
r
＜t
d
，自车为红绿灯模式，其余情形下为自由驾驶模式；
[0029]IV.与前车、红绿灯的距离均小于Δs
max
时，如果信号灯为红灯并且t
r
＞t
d
，或者信号灯为绿灯并且t
r
＜t
d
，自车为红绿灯模式，其余情形下为跟车模式。
[0030]进一步，步骤S22中，根据具体驾驶场景确定行驶的安全车速模型为：自由驾驶模式下，在自车前方Δs
max
范围内不存在目标，为了提升交通效率，安全车速为车辆最高速度与道路限速中较小值；跟车模式下，需要和前车保持一定安全距离；红绿灯模式下，车辆无法在绿灯期间通过，需要在信号灯前停车。据此所建立的安全车速模型为：
[0031][0032]其中，v
max
为车辆最高速度，v
limit
为道路限速，a
bmax
为最大减速度，τ为驾驶员反应时间，v
l
为前车速度，s为自车与前车距离，s
min
为自车与前车的最小距离，d为自车与红绿灯的距离，d
min
为自车与红绿灯的最小距离。
[0033]进一步，步骤S23中，采用深度强化学习算法求解最优目标车速，具体包括：设状态变量为S＝{v
ego
，d
ego
，v
leader
，d
two
，v
target
}，其中S为包含所有状态的状态集，v
ego
为自车车速，d
ego
为自车行驶距离，v
leader
为前车速度，d
two
为自车与前车距离，v
ta本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于交通信息与深度强化学习的混合动力汽车能量管理方法，其特征在于，该方法具体包括以下步骤：S1：获取历史交通数据与实时道路交通信息；S2:考虑安全性与舒适性，采用深度强化学习算法规划自车实时最优车速；S3：采用深度强化学习算法求解混合动力汽车能量管理问题，以及求解包含燃油消耗与电池SOC维持的多目标优化问题。2.根据权利要求1所述的混合动力汽车能量管理方法，其特征在于，步骤S1中，获取的历史交通数据包括：红绿灯相位信息与车辆速度和位置信息；获取的实时道路交通信息包括：前车运动信息，包括：前车车速信息，自车与前车距离信息；自车运动信息，包括：当前时刻车辆实际车速，当前时刻车辆行驶距离；道路工况信息，包括：红绿灯相位信息，自车与前方红绿灯距离与道路限速信息。3.根据权利要求1所述的混合动力汽车能量管理方法，其特征在于，步骤S2中，采用深度强化学习算法规划自车实时最优车速，具体包括以下步骤：S21：设计场景划分器，根据与前方目标距离关系确定自车驾驶场景；S22：确定当前场景下驾驶的安全车速；S23：采用深度强化学习算法求解兼顾安全性与驾驶舒适性的最优目标车速。4.根据权利要求3所述的混合动力汽车能量管理方法，其特征在于，步骤S21具体包括：根据与前方目标的距离以及红绿灯状态进行驾驶场景划分：其中，Δs
max
为最大刹车距离，s0为自车制动后应与前车保持的最大安全距离，τ
′2为制动器空行程时间，τ
″2为制动器制动力增长过程所需时间，τ2＝τ
′2+τ
″2总称为制动器的作用时间，a
bmax
为最大减速度，v为车速；通过车路通信获取下一路口红绿灯信息，将黄灯时间并入绿灯内，得到红绿灯切换到下一阶段的时间为t
r
；自车到达红绿灯所需时间t
d
为：其中，d为自车离红绿灯的距离，a
max
为最大加速度；当自车与前方红绿灯的距离小于Δs
max
时，如果当前为红灯且t
r
＞t
d
，或者信号灯为绿灯并且t
r
＜t
d
，自车无法不停车通过红绿灯；通过判断红绿灯信息与刹车范围Δs
max
内是否存在目标，来划分驾驶场景：Ⅰ.与前车、红绿灯的距离均大于Δs
max
时，自车为自由驾驶模式；Ⅱ.与前车的距离s小于Δs
max
，与红绿灯的距离d大于Δs
max
时，自车为跟车模式；Ⅲ.与前车的距离s大于Δs
max
，与红绿灯的距离d小于Δs
max
时：如果信号灯为红灯并且t
r
＞t
d
，或者信号灯为绿灯并且t
r
＜t

【专利技术属性】
技术研发人员：唐小林，朱和龙，邓磊，邓忠伟，胡晓松，杨为，李佳承，
申请(专利权)人：重庆大学，
类型：发明
国别省市：