基于深度强化学习的混合动力电动车系统控制方法技术方案

本发明专利技术提供一种基于深度强化学习的混合动力电动车系统控制方法，其中包括以下步骤：

【技术实现步骤摘要】
基于深度强化学习的混合动力电动车系统控制方法


[0001]本专利技术涉及新能源汽车
，涉及一种基于深度强化学习的混合动力电动车系统控制方法
。

技术介绍

[0002]近年来，工业界和学术界都在研究和开发新型汽车动力传动系统
。
日益严格的要求不断减少燃料消耗和污染物排放水平
。
虽然电动汽车
(electric vehicle,EV)
可以达到零排放，但电动汽车在行驶里程
、
充电基础设施
、
电池成本等方面的不足却限制了电动汽车的普及
。
插电式混合动力汽车
(plug
‑
in hybrid electric vehicle,PHEV)
结合了传统内燃机和新型电动发动机的优点，越来越受到汽车制造商的重视
。
[0003]目前，能量管理策略是提高混合动力汽车燃油经济性的关键
。
现有的能量管理策略
(Energy Management Strategy,EMS)
通常分为三大类
:
基于规则的策略，基于优化的策略以及基于学习的策略
。
基于规则的策略虽然很有效而且很易于实现，但控制性能受限于不同的车型和车辆结构，因此并不适用于多样化的驾驶需求
。
基于优化的策略包括动态规划
(Dynamic Programming,DP),
庞特里亚金极大值原理
(Pontryagin's Minimum Principle,PMP)
等，在实际应用中，很大程度上要依赖于对全局工况信息
。
基于强化学习
(reinforcement learning
，
RL)
的策略可以解决上述传统控制技术的不足
。
与动态规划相比，基于强化学习的能量管理策略在能够在线运行的情况下节省了大量的计算时间和成本，同时可以得到近似于全局最优结果
。
这些特性使其成为混合动力系统能量管理策略高效
、
稳健的开发途径
。
但是现有的方法其结果并不准确，同时计算速度较慢，不适合推广应用，因此亟需研究一种高效准确的能量管理方法
。

技术实现思路

[0004]针对上述现有技术中存在的问题，本专利技术的目的在于提供一种基于深度强化学习的混合动力电动车系统控制方法，在保证优化结果接近最优性的同时能够实时应用，处理过程高效迅速，结果准确，能够挖掘该构型多种驱动模式下的节油潜力，提高燃料电池汽车整体经济性
。
同时在优化过程中引入历史工况动态规划产生的经验，加快强化学习算法的计算速度，并进一步提高计算结果的准确度
。
[0005]具体地，本专利技术提供一种基于深度强化学习的混合动力电动车系统控制方法，该方法具体包括以下步骤：
[0006]S1、
获取插电式混合动力电动车历史行驶过程中的固定路线多维路况信息；
[0007]S2、
建立插电式混合动力电动车整车动力系统模型以及动力电池模型；具体包括以下子步骤：
[0008]S21、
整车动力系统模型为：
[0009]P
dem
＝
P
m12
+P
eng
η
AMT
[0010]式中，
P
dem
为需求功率，
P
m12
为等效电机功率，
P
eng
为发动机功率，
η
AMT
为变速箱效率；
[0011]P
m12
＝
P
EM
+P
ISG
η
AMT
[0012]式中，
P
EM
为
EM
电机功率，
P
ISG
为
ISG
电机功率；
[0013]S22、
搭建动力电池模型：
[0014][0015]式中，
I
bat
为动力电池电流，
U
OC
为动力电池开路电压，
R
bat
为动力电池内阻；
[0016][0017]式中，为动力电池荷电状态变化率，
Q
bat
为动力电池容量；
[0018]S3、
对两个电机进行预优化处理，降低优化的维度，具体包括以下子步骤：
[0019]S31、
以两个电机总能量转化效率为目标，建立预优化的目标函数为：
[0020][0021]式中，
P
EM
为
EM
电机功率，
η
EM
为
EM
电机效率，
P
ISG
为
ISG
电机功率，
η
ISG
为
ISG
电机效率，
i
g
为档位；
[0022]S32、
对车速与等效电机功率进行离散化处理，形成需要遍历的网格点；
[0023]S33、
在每个模式下，按照步骤
S31
建立的目标函数，计算步骤
S32
形成的每个网格点下两个电机的最优功率分配；
[0024]S4、
对步骤
S1
采集的插电式混合动力电动车多维路况信息，结合步骤
S3
预优化后的结果，进行动态规划计算，生成状态转移数据集；
[0025]S5、
确定强化学习算法需要的状态变量
、
动作变量以及奖励函数；其中，状态变量
s、
动作变量
a
以及奖励函数
r
分别为：
[0026]s
＝
(P
dem,
SOC,d,
θ
,v,v1,v2)
[0027]式中，
P
dem
为整车需求功率，
SOC
为电池荷电状态，
d
为行驶距离，
θ
为当前道路坡度，
v
为当前车速，
v1为前一秒车速，
v2为前两秒车速；
[0028]a
＝
(mode,P
eng
)
[0029]式中，
mode
为选择的模式，
P
eng
为内燃机功率；
[0030]r
＝
‑
(C
fuel
·
price
fuel
+
Δ
SOC
·...

【技术保护点】

【技术特征摘要】
1.
一种基于深度强化学习的混合动力电动车系统控制方法，其特征在于：该方法具体包括以下步骤：
S1、
获取插电式混合动力电动车历史行驶过程中的固定路线多维路况信息；
S2、
建立插电式混合动力电动车整车动力系统模型以及动力电池模型；具体包括以下子步骤：
S21、
整车动力系统模型为：
P
dem
＝
P
m12
+P
eng
η
AMT
式中，
P
dem
为需求功率，
P
m12
为等效电机功率，
P
eng
为发动机功率，
η
AMT
为变速箱效率；
P
m12
＝
P
EM
+P
ISG
η
AMT
式中，
P
EM
为
EM
电机功率，
P
ISG
为
ISG
电机功率；
S22、
搭建动力电池模型：式中，
I
bat
为动力电池电流，
U
OC
为动力电池开路电压，
R
bat
为动力电池内阻；式中，为动力电池荷电状态变化率，
Q
bat
为动力电池容量；
S3、
对两个电机进行预优化处理，降低优化的维度，具体包括以下子步骤：
S31、
以两个电机总能量转化效率为目标，建立预优化的目标函数为：式中，
P
EM
为
EM
电机功率，
η
EM
为
EM
电机效率，
P
ISG
为
ISG
电机功率，
η
ISG
为
ISG
电机效率，
i
g
为档位；
S32、
对车速与等效电机功率进行离散化处理，形成需要遍历的网格点；
S33、
在每个模式下，按照步骤
S31
建立的目标函数，计算步骤
S32
形成的每个网格点下两个电机的最优功率分配；
S4、
对步骤
S1
采集的插电式混合动力电动车多维路况信息，结合步骤
S3
预优化后的结果，进行动态规划计算，生成状态转移数据集；
S5、
确定强化学习算法需要的状态变量
、
动作变量以及奖励函数；其中，状态变量
s、
动作变量
a
以及奖励函数
r
分别为：
s
＝
(P
dem,
SOC,d,
θ
,v,v1,v2)
式中，
P
dem
为整车需求功率，
SOC
为电池荷电状态，
d
为行驶距离，
θ
为当前道路坡度，
v
为当前车速，
v1为前一秒车速，
v2为前两秒车速；
a
＝
(mode,P
eng
)
式中，
mode
为选择的模式，
P
eng
为内燃机功率；
r
＝
‑
(C
fuel
·
price
fuel
+
Δ
SOC
·
Q
bat
·
price
electric
)
式中，
C
fuel
为一步的燃油消耗，
price
fuel
为单位油耗的价格，
Δ
SOC
为一步的荷电状态变
化，
Q
bat
为动力电池容量，
price
electric
为一度电的价格；
S6、
利用步骤
S4
生成的状态转移数据集，对
critic
与
actor
网络进行预训练；
S7、
搭建环境智能体模型，将步骤
S4
生成的状态转移数据集迁移到经验池当中，将步骤
S6
训练的两个神经网络作为初始网络模型，利用深度强化学习算法不断迭代训练能量管理策略，直到算法收敛，得到最终的环境智能体模型；
S8、
将收敛后的环境智能体模型加入到
HCU
控制器，在固定线路上进行在线应用
。2.
根据权利要求1所述的基于深度强化学习的混合动力电动车系统控制方法，其特征在于：所述步骤
S1
中获取的固定路线多维路况信息包括电动车在固定路线上行驶采集的若干组历史车速曲线以及道路坡度曲线
。3.
根据权利要求1所述的基...

【专利技术属性】
技术研发人员：张亚辉，王子萌，王众，田阳，焦晓红，文桂林，
申请(专利权)人：燕山大学，
类型：发明
国别省市：