一种混合动力公交车能量管理方法、设备和存储介质技术

本发明专利技术公开一种混合动力公交车能量管理的方法和、设备和存储介质，其中方法包括：获取实验车辆在公交固定路线工况下影响能量管理的参数；基于影响能量管理的参数和观测量训练模型，获得训练后的深度强化学习代理；获取公交车实际行驶中影响所述能量管理的参数和观测量，基于实际行驶中影响能量管理的参数，以及训练后的深度强化学习代理，进行混合动力公交车固定路线工况下的能量管理。采用本发明专利技术的技术方案，可实现对混合动力公交车能量管理更有效的控制，减少能源消耗。

A hybrid bus energy management method, equipment and storage medium

【技术实现步骤摘要】
一种混合动力公交车能量管理方法、设备和存储介质
本申请属于混合动力汽车
，特别涉及一种混合动力公交车能量管理的方法、设备和存储介质。
技术介绍
混合动力汽车的能量管理大多是基于规则的策略，通过制定一定的能量管理阈值，最常见的插电式混合动力的规则是先进行电池能量的消耗，然后进行电池电量的保持，进行规则上的能量控制。基于优化的策略具有代表基准的是DP(DynamicProgramming，动态规划)。在全局工况信息已知的情况下离线得到的混合动力公交车相对最优能量管理，它利用速度工况已知，对混合动力公交车发动机和电池进行相应最优的能量需求分配，来得到最优能量管理。在现有技术中，利用工程师经验制定规则进行规则上能量管理或者基于优化的在速度已知或者预测的基础上选择的模型预测控制进行能量管理，进而调节混合动力公交车的等效燃油消耗的大小。在实现本申请的过程中，专利技术人发现相关技术至少存在以下问题：通过上述方法可知，基于规则的常常能量管理效果不够显著，且针对工况单一，基于优化的DP需要全局工况已知，因计算时间过长不能进行实时在线运用，存在的模型预测可以做到优化和实时进行，但预测控制步长不能选择过大，与DP的优化结果相比仍具有较大的差距。
技术实现思路
为了解决相关技术中存在的技术问题，本申请实施例提供了一种混合动力公交车能量管理的方法和设备。所述公交车能量管理的方法和设备的技术方案如下：第一方面，本申请提供了一种混合动力公交车能量管理的方法，包括：获取实验车辆在公交固定路线工况下影响能量管理的参数；基于所述影响能量管理的参数和观测量，利用深度确定性策略梯度训练模型，获得训练后的深度强化学习代理；获取公交车实际行驶中影响能量管理的参数和观测量，基于所述实际行驶中影响所述能量管理的参数和观测量，以及所述训练后的深度强化学习代理，进行所述混合动力公交车固定路线工况下的能量管理。优选的，所述影响能量管理的参数，包括混合动力公交车固定路线上的道路情况和所处时段，所述道路情况包括环境温度、天气状况、道路坡度以及路口的红绿灯情况、公交车在各站点乘客人数。优选的，所述观测量，包括公交车的速度、加速度、发动机转速、发动机转矩、电机转速、电机转矩、电池荷电状态、当前时刻燃油消耗量、SOC与参考SOC之间的差值和公交车位移/时间。优选的，所述利用深度确定性策略梯度训练模型包括以下5种，以时间作为横坐标，不考虑路口情况，假定在路口处公交车遇到的都是绿灯，不进行速度约束，利用深度强化学习中的DDPG(DeepDeterministicPolicyGradient，深度确定性策略梯度)进行训练，得到收敛的代理，进行仿真，在所述实验车辆上采集到的等效燃油消耗与可能影响能量管理的其他参数；以时间作为横坐标，考虑路口情况，假定在路口处公交车遇到的都是红灯，车辆速度在路口点处有一减速到0再加速的过程，利用深度强化学习中的DDPG进行训练，得到收敛的代理，进行仿真，在所述实验车辆上采集到的等效燃油消耗与可能影响能量管理的其他参数；以位移作为横坐标，不考虑路口情况，假定在路口处公交车遇到的都是绿灯，不进行速度约束，利用深度强化学习中的DDPG进行训练，得到收敛的代理，进行仿真，在所述实验车辆上采集到的等效燃油消耗与可能影响能量管理的其他参数；以位移作为横坐标，考虑路口情况，假定在路口处公交车遇到的都是红灯，其速度在路口点处有一减速到0再加速的过程，利用深度强化学习中的DDPG进行训练，得到收敛的代理，进行仿真，在所述实验车辆上采集到的等效燃油消耗与可能影响能量管理的其他参数；以位移作为横坐标，考虑路口情况，考虑路口红绿灯变化信号，将位移和时间以及公交车速度进行结合，对汽车速度进行约束，利用深度强化学习中的DDPG进行训练，得到收敛的代理，进行仿真，在所述实验车辆上采集到的等效燃油消耗与可能影响能量管理的其他参数；所述获得训练后的深度强化学习代理具体为：分别在不同的时间段选取乘客人数变化明显的若干时间点，然后用上述的5种方式进行训练，将训练后在实验车辆上采集到的等效燃油消耗和可能影响能量管理的其他参数与动态规划的结果进行对比，并与考虑路口信号时的动态规划基准进行比较，获得具有相应数量代表时段的深度强化学习代理。优选的，在获取到实验车辆在不同时段同一路线工况下的等效燃料消耗和影响所述能量管理的参数之后，还包括：以预设的采样频率采集所述实验车辆在各时段同一路线工况下等效燃料消耗和可能影响所述能量管理的参数，并对采集到的参数进行平滑处理和归一化处理。优选的，所述基于影响所述能量管理的参数和所述等效燃油消耗，利用深度强化学习DDPG方法训练得到代理，具体为：在每次训练中，将当前时刻的SOC、SOC与参考SOC之间的差值、汽车速度、汽车位移/汽车运行时间、汽车加速度和燃油消耗量作为DDPG代理的观测值输入数据，以当前时刻的奖励值作为DDPG代理的奖励值输入数据，基于深度确定性策略梯度训练所述模型，获得训练后的深度强化学习代理。优选的，所述获取公交车实际行驶中影响所述能量管理的参数，基于所述实际行驶中影响所述能量管理的参数，以及所述训练后的深度强化学习代理，进行所述公交车能量管理，包括：获取所述公交车实际行驶中影响所述能量管理的参数；将所述观测值和所述奖励值输入所述深度强化学习代理，输出为当前时刻下一时刻所述公交车电机转矩和发动机转矩需求，其中，所述当前时刻为当前观测量所处时刻。第二方面，本申请提供了一种进行混合动力公交车能量管理的设备，所述设备包括，采集模块，被配置为获取公交车在固定路线工况下获取影响能量管理的参数；训练模块，被配置为基于所述影响能量管理的参数，利用深度强化学习中DDPG策略训练该模型，获得训练后的深度强化学习代理；实时实施模块，被配置为获取公交车实际行驶中影响所述能量管理的观测量，基于所述实际行驶中影响能量管理的参数，以及所述训练后的深度强化学习代理，根据公交车所处时刻选择对应时段深度强化学习代理来进行所述公交车道路能量管理；所述采集模块、训练模块和实时实施模块依次连接。可选的，所述采集模块，被配置为：混合动力公交车固定路线上的道路情况，包括温度天气、公交路线上不同站点的乘客人数、以及在每天不同时段的同一公交车、交通道路口的信号灯情况中的至少一种参数。可选的，所述采集模块，被配置为：获取K个样本，每个样本包括不同时刻在所述实验车辆上采集到的可能影响能量管理的参数；可选的，所述采集模块，被配置为：公交车的速度、公交车的加速度、发动机转速、发动机转矩、电机转速、电机转矩、电池荷电状态、当前时刻燃油消耗量、SOC与参考SOC之间的差值、公交车位移(时间)。可选的，所述采集模块，被配置为：以预设的采样频率采集所述实验车辆在固定路线工况下等效燃料消耗和影响所述能量管理的参数，并本文档来自技高网...

【技术保护点】
1.一种混合动力公交车能量管理方法，其特征在于，包括/n获取实验车辆在公交固定路线工况下影响能量管理的参数；/n基于所述影响能量管理的参数和观测量训练模型，获得训练后的深度强化学习代理；/n获取公交车实际行驶中影响能量管理的参数和观测量，基于所述实际行驶中影响所述能量管理的参数和观测量，以及所述训练后的深度强化学习代理，进行所述混合动力公交车固定路线工况下的能量管理。/n

【技术特征摘要】
1.一种混合动力公交车能量管理方法，其特征在于，包括
获取实验车辆在公交固定路线工况下影响能量管理的参数；
基于所述影响能量管理的参数和观测量训练模型，获得训练后的深度强化学习代理；
获取公交车实际行驶中影响能量管理的参数和观测量，基于所述实际行驶中影响所述能量管理的参数和观测量，以及所述训练后的深度强化学习代理，进行所述混合动力公交车固定路线工况下的能量管理。


2.根据权利要求1所述的混合动力公交车能量管理方法，其特征在于，所述影响能量管理的参数，包括混合动力公交车固定路线上的道路情况和所处时段，所述道路情况包括环境温度、天气状况、道路坡度以及路口的红绿灯情况、公交车在各站点乘客人数。


3.根据权利要求1所述的混合动力公交车能量管理方法，其特征在于，所述观测量，包括公交车的速度、加速度、发动机转速、发动机转矩、电机转速、电机转矩、电池荷电状态、当前时刻燃油消耗量、SOC与参考SOC之间的差值和公交车位移/时间。


4.根据权利要求1所述的混合动力公交车能量管理方法，其特征在于，所述基于所述影响能量管理的参数和观测值训练模型，所用的训练方法是深度确定性策略梯度算法、DQN算法或Q-学习。


5.根据权利要求4所述的混合动力公交车能量管理方法，其特征在于，利用深度确定性策略梯度训练模型包括以下5种，
以时间作为横坐标，不考虑路口情况，假定在路口处公交车遇到的都是绿灯，不进行速度约束，利用深度强化学习中的DDPG进行训练，得到收敛的代理，进行仿真，在所述实验车辆上采集到的等效燃油消耗与可能影响能量管理的其他参数；
以时间作为横坐标，考虑路口情况，假定在路口处公交车遇到的都是红灯，车辆速度在路口点处有一减速到0再加速的过程，利用深度强化学习中的DDPG进行训练，得到收敛的代理，进行仿真，在所述实验车辆上采集到的等效燃油消耗与可能影响能量管理的其他参数；
以位移作为横坐标，不考虑路口情况，假定在路口处公交车遇到的都是绿灯，不进行速度约束，利用深度强化学习中的DDPG进行训练，得到收敛的代理，进行仿真，在所述实验车辆上采集到的等效燃油消耗与可能影响能量管理的其他参数；
以位移作为横坐标，考虑路口情况，假定在路口处公交车遇到的都是红灯，其速度在路口点处有一减速到0再加速的过程，利用深度强化学习中的DDPG进行训练，得到收敛的代理，进行仿真，在所述实验车辆上采集到的等效燃油消耗与可能影响能量管理的其他参数；
以位移作为横坐标，考虑路口情况，考虑路口红绿灯变化信号，将位移和时间以及公交车速度进行结合，对汽车速度进行约束，利用深度强化学习中的DDPG进行训练，得到收敛的代理，进行仿真，在所述实验车辆上采集...

【专利技术属性】
技术研发人员：周健豪，薛四伍，顾诚，薛源，刘军，廖宇晖，张仁鹏，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32