一种基于安全强化学习的跟车能量管理方法技术

本发明专利技术涉及燃料电池混合动力汽车设计领域，尤其涉及一种基于安全强化学习的跟车能量管理方法，首先建立跟车场景下被控车辆动力学模型、燃料电池和锂电池经验老化模型，其次以被控车辆本身为环境，利用双延迟深度确定策略梯度算法设计基于多智能体的分层强化学习跟车能量管理框架，实现车辆外部运动控制和内部动力系统能量管理的协同优化。本发明专利技术建立跟车场景下被控车辆动力学模型、燃料电池和锂电池经验老化模型，获取不同采样时刻下实际车间距、车辆速度、燃料电池SoH和锂电池SoH，根据所获状态信息，以被控车辆本身为环境，利用TD3设计基于多智能体的分层强化学习跟车能量管理框架，实现车辆外部运动控制和内部动力系统能量管理的协同优化。量管理的协同优化。量管理的协同优化。

【技术实现步骤摘要】
一种基于安全强化学习的跟车能量管理方法


[0001]本专利技术涉及燃料电池混合动力汽车设计领域，尤其涉及一种基于安全强化学习的跟车能量管理方法。

技术介绍

[0002]随着汽车网联化、自动化的发展，跟车场景下的燃料电池混合动力汽车的节能驾驶技术已由单纯动力总成能量管理向速度轨迹和能量管理的协同优化演化，目前强化学习在跟车能量管理方面是一种较有潜力的机器学习方法，能实现良好的全局最优解搜索性能，但现有强化学习智能体在处理跟车控制和能量管理时忽略了决策的安全性，容易在训练和实施过程中出现不安全动作的探索，导致严重的车辆安全问题(撞车、倒车、电池过充和过放等)，因此如何提升强化学习的安全性仍是一大挑战。

技术实现思路

[0003]本专利技术旨在提供一种基于安全强化学习的跟车能量管理方法，解决被控车辆跟驰行驶过程中强化学习智能体安全决策的问题，达到提升强化学习算法的收敛速度，保证行驶过程中车辆和人员的安全性。
[0004]为了解决以上技术问题，本专利技术采用的具体方案为：一种基于多目标优化的燃料电池混合动力汽车跟车能量管理方法，首先建立跟车场景下被控车辆动力学模型、燃料电池和锂电池经验老化模型；其次以被控车辆本身为环境，利用双延迟深度确定策略梯度算法(Twin Delayed Deep Deterministic Policy Gradient,TD3)设计基于多智能体的分层强化学习跟车能量管理框架；然后在强化学习智能体模块与环境之间构建安全约束控制器，过滤智能体模块输出的不安全动作，保障强化学习策略训练和应用过程中车辆的安全性。
[0005]优选的，包括以下步骤：
[0006]S1:建立跟车场景下被控车辆自适应巡航系统的跟车动力学模型、车载动力系统的需求功率模型和燃料电池/锂电池经验老化模型，获取不同采样时刻下被控车辆与前车的实际车间距、车辆速度、燃料电池健康状态(State of health,SoH)和锂电池SoH；
[0007]S2:根据S1中建立的跟车动力学模型，以自适应巡航系统为上层环境，以实际车间距、期望车间距、前车与被控车辆速度差和被控车辆速度为状态值，被控车辆加速度为执行动作构建跟车控制智能体模块以及奖励函数；
[0008]S3:根据S1中建立的需求功率模型和燃料电池/锂电池经验老化模型，以车载动力系统为下层环境，以车辆需求功率、锂电池荷电状态(State of charge,SoC)为状态值，燃料电池功率为执行动作构建能量管理智能体模块以及奖励函数；
[0009]S4:根据S1和S2中建立的相关车辆模型与智能体模块，在跟车控制智能体模块与上层环境之间构建安全约束控制器1，在能量管理智能体模块和下层环境之间构建安全约束控制器2，利用二次规划将智能体输出的不安全动作投影到最接近满足系统安全约束的
动作，从而限制强化学习智能体对不安全动作的探索并指导智能体对系统约束的学习，保障强化学习策略训练和应用过程中车辆的安全性。
[0010]优选的，S1中被控车辆自适应巡航系统的跟车动力学模型为：
[0011][0012]其中，d为实际车间距，v
dif
为前车与被控车辆速度差，T
s
为采样时间，a
p
为前车加速度，u为被控车辆加速度，v
e
为被控车辆速度。
[0013]优选地，S1中车载动力系统的需求功率模型为：
[0014][0015]其中，δ为旋转质量换算系数，g为重力加速度，f
r
为路面摩擦系数，α为道路坡度，C
d
为车辆空气阻力系数，A为被控车辆迎风面积，ρ为空气密度，η
motor
为驱动电机效率，P
fc
和P
bat
分别为燃料电池和锂电池输出功率，η
DC1
和η
DC2
分别为单向DC/DC和双向DC/DC变换器效率。
[0016]优选地，S1中车载动力系统的燃料电池经验退化模型为：
[0017][0018]其中，
△
SoH
fc
为燃料电池健康状态(百分比)，k
r
为实际工况和实验差异修正系数，V1、V2、V3和V4分别为实验室环境下测量的燃料电池启停循环、低功率运行、高功率运行和负载波动工况对应电压衰减值，
△
P
fc
为燃料电池功率波动(W/s)，
△
V燃料电池电压最大允许衰减值，f
on
‑
off
，f
low
$$和f
high
分别为燃料电池启停循环、低功率运行、高功率运行标志，具体表示如下：
[0019][0020][0021]优选地，S1中车载动力系统的锂电池经验退化模型为：
[0022][0023]其中，
△
SoH
bat
为锂电池健康状态(百分比)，N
cycle
为锂电池充放电循环次数，为锂电池最大存储电量，具体表示如下：
[0024][0025]其中，Q
c
为锂电池额定容量，F为与放电倍率相关的指数前因子，E
a
为活化能，R为通用气体常数，T
a
为运行温度，c为放电倍率。
[0026]优选地，S2中跟车控制智能体模块奖励函数为：
[0027]R1(k)＝
‑
[w1|d(k)
‑△
d(k)|+w2|(u(k)
‑
u(k
‑
1))/T
s
|]，
[0028]其中，w1和w2为权重因子，
△
d(k)为期望车间距，具体表示如下：
[0029]△
d(k)＝v
e
(k)t
h
+d0，其中，t
h
为车头时距，d0为最小安全距离。
[0030]优选地，S3中能量管理智能体模块奖励函数为：
[0031][0032]其中，为燃料电池每千克价格，Γ
fc
和Γ
bat
分别为燃料电池和锂电池每百分比老化成本，m
eq
为等效氢气消耗，具体表示如下：
[0033][0034]其中，η
fc
为燃料电池效率，为氢气的低热值，λ
bat
为锂电池能耗等效因子，具体表示如下：
[0035]其中，η
dis
和η
chg
分别为锂电池的充放电效率。
[0036]优选地，S4中安全约束控制器1设计为：
[0037][0038]其中，u
′
为安全约束控制器1的输出，x1＝[d,v
dif
,v
e
]T
，y1＝[d,v
e
]T...

【技术保护点】

【技术特征摘要】
1.一种基于安全强化学习的跟车能量管理方法，其特征在于：首先建立跟车场景下被控车辆动力学模型、燃料电池和锂电池经验老化模型，其次以被控车辆本身为环境，利用双延迟深度确定策略梯度算法(TwinDelayed Deep Deterministic Policy Gradient,TD3)设计基于多智能体的分层强化学习跟车能量管理框架，然后在强化学习智能体模块与环境之间构建安全约束控制器，过滤智能体模块输出的不安全动作。2.根据权利要求1所述的一种基于安全强化学习的跟车能量管理方法，其包括以下步骤：S1:建立跟车场景下被控车辆自适应巡航系统的跟车动力学模型、车载动力系统的需求功率模型和燃料电池/锂电池经验老化模型，获取不同采样时刻下被控车辆与前车的实际车间距、车辆速度、燃料电池健康状态(State of health,SoH)和锂电池SoH；S2:根据S1中建立的跟车动力学模型，以自适应巡航系统为上层环境，以实际车间距、期望车间距、前车与被控车辆速度差和被控车辆速度为状态值，被控车辆加速度为执行动作构建跟车控制智能体模块以及奖励函数；S3:根据S1中建立的需求功率模型和燃料电池/锂电池经验老化模型，以车载动力系统为下层环境，以车辆需求功率、锂电池荷电状态(State of charge,SoC)为状态值，燃料电池功率为执行动作构建能量管理智能体模块以及奖励函数；S4:根据S1和S2中建立的相关车辆模型与智能体模块，在跟车控制智能体模块与上层环境之间构建安全约束控制器1，在能量管理智能体模块和下层环境之间构建安全约束控制器2，利用二次规划将智能体输出的不安全动作投影到最接近满足系统安全约束的动作，从而限制强化学习智能体对不安全动作的探索并指导智能体对系统约束的学习，保障强化学习策略训练和应用过程中车辆的安全性。3.根据权利要求2所述的一种基于安全强化学习的跟车能量管理方法，其特征在于：S1中被控车辆自适应巡航系统的跟车动力学模型为：其中，d为实际车间距，v
dif
为前车与被控车辆速度差，T
s
为采样时间，a
p
为前车加速度，u为被控车辆加速度，v
e
为被控车辆速度。4.根据权利要求2所述的一种基于安全强化学习的跟车能量管理方法，其特征在于：S1中车载动力系统的需求功率模型为：其中，δ为旋转质量换算系数，g为重力加速度，f
r
为路面摩擦系数，α为道路坡度，C
d
为车辆空气阻力系数，A为被控车辆迎风面积，ρ为空气密度，η
motor
为驱动电机效率，P
fc
和P
bat
分别为燃料电池和锂电池输出功率，η
DC1
和η
DC2
分别为单向DC/DC和双向DC/DC变换器效率。5.根据权利要求2所述的一种基于安全强化学习的跟车能量管理方法，其特征在于：S1
中车载动力系统的燃料电池经验退化模型为：其中，
△
SoH
fc
为燃料电池健康状态(百分比)，k
r
为实际工况和实验差异修正系数，V1、V2、V3和V4分别为实验室环境下测量的燃料电池启停循环、低功率运行、高功率运行和负载波动工况对应电压衰减值，
△
P
fc
为燃料电池功率波动(W/s)，
△
V燃料电池电压最大允许衰减值，f
on
‑
off
，f
l...

【专利技术属性】
技术研发人员：付主木，朱龙龙，陶发展，王楠，王俊，高颂，杨艺，陈灵峰，高向前，马浩翔，冯逸轩，
申请(专利权)人：河南科技大学，
类型：发明
国别省市：