串联混合动力无人履带车辆的能量管理方法及系统技术方案

本发明专利技术公开一种串联混合动力无人履带车辆的能量管理方法及系统，涉及能量管理技术领域，基于串联混合动力无人履带车辆的多目标奖励函数对基于深度确定性策略梯度算法的能量管理控制器进行训练，得到训练好的能量管理控制器，在实际应用时，直接以串联混合动力无人履带车辆的车辆参数为输入，利用训练好的能量管理控制器即可确定串联混合动力无人履带车辆的能量管理策略，从而可在线实时输出能量管理策略，且由于多目标奖励函数的优化目标包括燃油消耗量

【技术实现步骤摘要】
串联混合动力无人履带车辆的能量管理方法及系统


[0001]本专利技术涉及能量管理
，特别是涉及一种基于
DDPG
‑
HER
的串联混合动力无人履带车辆的能量管理方法及系统
。

技术介绍

[0002]串联混合动力无人履带车辆（
Series Hybrid Electric Unmanned Tracked Vehicle
，
SHEUTV
）因具有高通过性
、
高机动性
、
强动力性以及燃油经济性等优势，已成为地面军事战争的重要研究方向，为串联混合动力无人履带车辆设计具有良好越野工况适应性的能量管理策略（
Energy Management Strategy
，
EMS
）是改善燃油经济性
、
远距离静音行驶
、
扩大作战半径
、
提高混合动力系统效率等综合性能的关键
。
由于串联混合动力无人履带车辆的动力系统与轮式车辆的动力系统有着本质的区别，因此需要进行能量管理策略优化，将串联混合动力无人履带车辆的特定动态参数有针对性的纳入设计策略中
。
目前，基于规则的能量管理策略对于复杂多变的越野工况适应性差，且节油性能达到瓶颈；基于优化的能量管理策略比较依赖于固定标准工况，虽然可获得较好的燃油经济性，但通常无法在线实时应用
。
[0003]基于此，亟需一种新型的串联混合动力无人履带车辆的能量管理方法及系统
。

技术实现思路

[0004]本专利技术的目的是提供一种串联混合动力无人履带车辆的能量管理方法及系统，可在线实时输出能量管理策略，在满足车辆性能前提下最小化燃油消耗，并同时实现电池荷电状态维稳和机组输出功率平衡
。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种串联混合动力无人履带车辆的能量管理方法，所述能量管理方法包括：
[0007]构建串联混合动力无人履带车辆的多目标奖励函数；所述多目标奖励函数的优化目标包括燃油消耗量
、
电池荷电状态和机组输出功率；
[0008]基于所述多目标奖励函数对基于深度确定性策略梯度算法的能量管理控制器进行训练，得到训练好的能量管理控制器；
[0009]以所述串联混合动力无人履带车辆的车辆参数为输入，利用所述训练好的能量管理控制器确定所述串联混合动力无人履带车辆的能量管理策略；所述车辆参数包括车辆纵向速度
、
车辆纵向加速度和电池荷电状态；所述能量管理策略包括发动机转矩
。
[0010]一种串联混合动力无人履带车辆的能量管理系统，所述能量管理系统包括：
[0011]函数构建模块，用于构建串联混合动力无人履带车辆的多目标奖励函数；所述多目标奖励函数的优化目标包括燃油消耗量
、
电池荷电状态和机组输出功率；
[0012]训练模块，用于基于所述多目标奖励函数对基于深度确定性策略梯度算法的能量管理控制器进行训练，得到训练好的能量管理控制器；
[0013]能量管理模块，用于以所述串联混合动力无人履带车辆的车辆参数为输入，利用
所述训练好的能量管理控制器确定所述串联混合动力无人履带车辆的能量管理策略；所述车辆参数包括车辆纵向速度
、
车辆纵向加速度和电池荷电状态；所述能量管理策略包括发动机转矩
。
[0014]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0015]本专利技术用于提供一种串联混合动力无人履带车辆的能量管理方法及系统，基于串联混合动力无人履带车辆的多目标奖励函数对基于深度确定性策略梯度算法的能量管理控制器进行训练，得到训练好的能量管理控制器，在实际应用时，直接以串联混合动力无人履带车辆的车辆参数为输入，利用训练好的能量管理控制器即可确定串联混合动力无人履带车辆的能量管理策略，从而可在线实时输出能量管理策略，且由于多目标奖励函数的优化目标包括燃油消耗量
、
电池荷电状态和机组输出功率，故所输出的能量管理策略能够在满足车辆性能前提下最小化燃油消耗，并同时实现电池荷电状态维稳和机组输出功率平衡
。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0017]图1为本专利技术实施例1所提供的能量管理方法的方法流程图；
[0018]图2为本专利技术实施例2所提供的能量管理系统的系统框图
。
具体实施方式
[0019]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例
。
基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围
。
[0020]本专利技术的目的是提供一种串联混合动力无人履带车辆的能量管理方法及系统，可在线实时输出能量管理策略，在满足车辆性能前提下最小化燃油消耗，并同时实现电池荷电状态维稳和机组输出功率平衡
。
[0021]为使本专利技术的上述目的
、
特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明
。
[0022]实施例1：
[0023]基于学习的能量管理策略能够以控制目标为导向，在未知环境中通过“试错”的训练过程，从状态转移训练样本数据中自主学习最优能量管理策略，实现从观测量到能量管理的端对端控制，显然这种基于学习的能量管理策略在无人驾驶能量管理领域的应用中具有一定的潜力
。
基于此，本实施例提出一种基于深度确定性策略梯度（
Deep Deterministic Policy Gradient
，
DDPG
）算法和事后经验池机制（
Hindsight Experience Replay
，
HER
）的能量管理方法，设计能量管理策略的多目标奖励函数，以对能量管理控制器进行训练，并利用训练好的能量管理控制器来实时在线输出能量管理策略，可以控制串联混合动力无人履
带车辆在行驶过程中最小化燃油消耗，并能够使发动机工作点尽可能落在最佳燃油消耗曲线附近，且能同时实现电池荷电状态
SOC
（
State of Charge
）在合理区间范围内的稳持和机组输出功率的平衡
。
在深度确定性策略梯度算法中引入事后经验池机制，通过数据回放再利用思想提高能量管理控制本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种串联混合动力无人履带车辆的能量管理方法，其特征在于，所述能量管理方法包括：构建串联混合动力无人履带车辆的多目标奖励函数；所述多目标奖励函数的优化目标包括燃油消耗量
、
电池荷电状态和机组输出功率；基于所述多目标奖励函数对基于深度确定性策略梯度算法的能量管理控制器进行训练，得到训练好的能量管理控制器；以所述串联混合动力无人履带车辆的车辆参数为输入，利用所述训练好的能量管理控制器确定所述串联混合动力无人履带车辆的能量管理策略；所述车辆参数包括车辆纵向速度
、
车辆纵向加速度和电池荷电状态；所述能量管理策略包括发动机转矩
。2.
根据权利要求1所述的能量管理方法，其特征在于，所述多目标奖励函数为：；其中，
r
t
为
t
时刻的多目标奖励函数输出的奖励值；
m
（
t
）为
t
时刻的燃油消耗量；为电池荷电状态对应的第一权重系数；
SOC
ref
为电池荷电状态的参考值；
SOC
（
t
）为
t
时刻的电池荷电状态；为机组输出功率对应的第二权重系数；为
t
时刻的机组输出功率相较于
t
‑1时刻的机组输出功率的变化值
。3.
根据权利要求1所述的能量管理方法，其特征在于，所述基于所述多目标奖励函数对基于深度确定性策略梯度算法的能量管理控制器进行训练，得到训练好的能量管理控制器具体包括：获取多个最佳发动机转矩；对于每一所述最佳发动机转矩，获取初始时刻的观测值，以所述初始时刻的观测值为输入，利用能量管理控制器确定发动机转矩；基于所述发动机转矩确定下一时刻的观测值，以所述初始时刻的观测值和所述发动机转矩为输入，利用多目标奖励函数计算得到奖励值；将所述初始时刻的观测值
、
所述发动机转矩
、
所述下一时刻的观测值和所述奖励值作为一个训练样本，存储到经验池中；所述观测值包括车辆纵向速度
、
车辆纵向加速度和电池荷电状态；从所述经验池中抽取部分训练样本组成训练集，利用所述训练集对所述能量管理控制器的网络参数进行更新，得到更新后能量管理控制器；判断是否达到迭代终止条件；若是，则以所述更新后能量管理控制器作为训练好的能量管理控制器；若否，则以所述更新后能量管理控制器作为下一迭代的能量管理控制器，返回“获取多个最佳发动机转矩”的步骤
。4.
根据权利要求3所述的能量管理方法，其特征在于，所述能量管理控制器包括
Actor
策略网络
、Critic
价值网络
、Actor
目标网络和
Critic
目标网络，则所述以所述初始时刻的观测值为输入，利用能量管理控制器确定发动机转矩具体包括：以所述初始时刻的观测值为输入，利用
Actor
策略网络确定发动机转矩
。5.
根据权利要求3所述的能量管理方法，其特征在于，所述以所述初始时刻的观测值和所述发动机转矩为输入，利用多目标奖励函数计算得到奖励值具体包括：以所述初始时刻的观测值和所述发动机转矩为输入，利用所述串联混合动力无人履带车辆的车辆模型计算得到电池荷电状态和机组输出功率；
基于所述发动机转矩计算得到燃油消耗量；以所述电池荷电状态
、
所述机组输出功率和所述燃油消耗量为输入，利用多目标奖励函数计算得到奖励值
。6.
根据权利要求5所述的能量管理方法，其特征在于，所述串联混合动力无人履带车辆的车辆模型包括：；其中，
n
e
为发动机转速；
n
g
为发电机输入轴转速；
T
e
为发动机转...

【专利技术属性】
技术研发人员：谭颖琦，陈慧岩，龚建伟，臧政，
申请(专利权)人：北京工业职业技术学院，
类型：发明
国别省市：