一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法技术

本发明专利技术公开一种基于Q‑learning和规则的混合动力车辆运行实时能源管理方法，属于自动化技术领域。为弥补燃料电池在车辆启动及加速阶段动力不足的缺陷，引入超级电容作为辅助供能设备，在燃料电池动力不足时补充剩余功率，同时在制动时吸收制动能量，以提高耗能经济性。为实现对燃料电池及超级电容的混合能量管理，本发明专利技术首先在离线状态下对基于Q‑learning的控制器进行训练，同时融合规则改变燃料电池的最大功率输出，以减小电流突变对燃料电池的影响。然后将离线训练好的控制器用于不同工况下的实时能源管理。本发明专利技术提出的方法相比于传统的基于简单规则或优化的能源管理方法，显著提高了耗能经济性，减小了电流波动对电池的影响，同时实现了混合动力车辆在不同工况下的实时能源管理。

A Real-time Energy Management Method for Hybrid Electric Vehicle Operation Based on Q-learning and Rules

The invention discloses a real-time energy management method for hybrid electric vehicle operation based on Q learning and rules, which belongs to the field of automation technology. In order to compensate for the power shortage of fuel cells in the start-up and acceleration stages of vehicles, supercapacitors are introduced as auxiliary energy supply equipment to supplement the residual power when fuel cells are powerless, and absorb braking energy when braking, so as to improve the energy consumption economy. In order to realize the hybrid energy management of fuel cell and supercapacitor, the controller based on Q learning is trained off-line at first, and the maximum power output of fuel cell is changed by fusion rules to reduce the impact of current mutation on fuel cell. Then the off-line trained controller is used for real-time energy management under different working conditions. Compared with the traditional energy management method based on simple rules or optimization, the proposed method significantly improves the energy consumption economy, reduces the influence of current fluctuation on batteries, and achieves real-time energy management of hybrid electric vehicles under different operating conditions.

【技术实现步骤摘要】
一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法
本专利技术属于自动化
，具体涉及一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法。
技术介绍
现有的混合动力车辆运行实时能源管理方法常利用基于规则或优化的算法对混合能源进行分配。其中基于规则的能源管理算法因为简单易行而运用广泛，但由于其过于单一而无法胜任复杂的车辆工况。而基于优化的算法虽然能将耗能降低到较低的范围，达到最优的燃油经济性，但由于其优化的前提是对车辆工况有较好的认知，因而基于优化的能源管理算法只能用于特定的工况，而无法用于面向复杂工况的在线的实时能源管理。另外，两种方法都缺乏减小电流波动对电池寿命的影响的研究。
技术实现思路
本专利技术的目的是针对现有的部分算法的不足之处，提供一种融合Q-learning和规则的基于学习的混合动力车辆运行实时能源管理方法。首先，本专利技术提供两种可选择的最大燃料电池功率输出设定值，其选择由规则决定，小功率输出有利于减小燃料电池的电流波动。其次，基于学习的方法在适应不同工况上比基于规则和优化的方法更加具有优越性，利用离线的方法在不同工况下训练，使能量管理控制器在实时测试时能适应复杂的工况。最后，超级电容作为辅助燃料电池的供能设备，弥补燃料电池在启动和加速阶段动力不足的缺陷，同时吸收制动能量，提高耗能经济性。本专利技术的技术方案是通过数据采集，模型建立等手段，确立了一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法。利用该方法可显著提高混合动力车辆在不同工况下的实时耗能经济性，同时减小燃料电池的电流波动，延长电池使用周期。本专利技术的具体技术方案如下：一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法，其步骤如下：S1：采集不同工况下，混合动力车辆运行过程中的样本数据；S2：建立基于Q-learning的能源管理系统，具体方法为S21～S23：S21：根据超级电容SoC设计状态空间，并对状态空间进行离散化：其中SoCt表示t时刻的SoC状态；SoCmin和SoCmax分别表示SoC的最小值和最大值，d1表示状态空间的离散度，numstates表示状态个数；S22：根据燃料电池输出功率设计动作空间，并对动作空间进行离散化：at＝k×d2其中at表示燃料电池t时刻的功率输出，k表示以1为基准的动作下表索引，d2表示动作空间的离散度，max_cell_power表示燃料电池最大功率输出预设值，numactions表示动作个数；S23：根据超级电容SoC状态设计奖励函数，奖励函数形式如下：其中rt表示t时刻的奖励，SoCt+1表示t+1时刻的SoC状态；S3：确定规则，用于对燃料电池最大功率输出预设值Phigh或Plow进行选择；规则的形式如下：S4：基于S1中的样本数据，结合S2中建立的基于Q-learning的能源管理系统和S3中确定的规则，离线训练控制器对混合能源进行实时分配管理，具体步骤如S41～S46：S41.初始化值函数Q(s,a)＝0；初始化max_cell_power＝Plow；初始化迭代次数n＝0；S42.初始化初始状态s0＝SoCinitial，其中SoCinitial为超级电容SoC初始设定值；初始化时间t＝1；n＝n+1；S43.根据贪心算法按照概率ε随机选出动作at，若不在概率ε内则使执行动作at，观察状态SoCt+1和奖励rt+1；如果SoCt+1＜0.6，则执行规则max_cell_power＝Phigh；否则执行规则max_cell_power＝Plow；S44.利用贝尔曼公式对值函数Q(s,a)进行更新，形式如下：其中η是学习速度；γ是折现参数；Q(st,at)为t时刻的值函数；T为S1中采集的样本数据的行程时长；S45.如果超级电容SoCt+1超出设定范围，即rt+1＝-1000，则重复步骤S42到步骤S44；如果超级电容SoCt+1未超出设定范围，则执行t＝t+1，并重复步骤S43到步骤S44，直到t＝T；S46.重复步骤S42到步骤S45，直到n＝N，N为预设的最大迭代次数，完成值函数Q(s,a)的更新；S5：利用训练好的控制器在不同工况下对混合能源进行实时分配管理。作为优选，所述的混合动力车辆由超级电容和燃料电池共同提供混合动力，超级电容作为辅助燃料电池的供能设备。进一步的，超级电容的输出功率由混合动力车辆行驶所需总功率减去燃料电池输出功率得到。作为优选，S1中的样本数据的采集方法为：在不同车辆工况下，获取车辆行驶所需的实时功率，记一段行程中t时刻所需的瞬时功率为Pt，行程时长记为T。作为优选，所述的工况包括FTP-75工况、WVUSUB工况、HWFET工况及MANHATTAN工况。本专利技术提出的混合动力车辆运行实时能源管理方法弥补了传统方法的不足，相比与传统的基于规则或优化的方法，本专利技术融合学习和规则，能显著提高耗能经济性，减少电流波动对燃料电池造成的影响，同时实现复杂工况下的在线实时能源管理。附图说明图1为实时测试中在混合工况下车辆运行功率需求；图2为实时测试中在混合工况下车辆运行功率分配；图3为实时测试中在混合工况下的功率误差；图4为实时测试中在混合工况下超级电容的SoC分布；图5为实时测试中在HWFET工况下燃料电池输出功率变化率；图6为实时测试中在HWFET工况下燃料电池输出电流变化率。具体实施方式下面结合附图和具体实施方式对本专利技术做进一步阐述和说明。本专利技术中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。本专利技术中的基于Q-learning和规则的混合动力车辆运行实时能源管理方法，主要针对以超级电容和燃料电池作为混合动力的车辆，其中超级电容作为辅助燃料电池的供能设备，弥补燃料电池在启动和加速阶段动力不足的缺陷。超级电容在燃料电池动力不足时补充剩余功率，同时在制动时吸收制动能量，提高耗能经济性。本方法主要计算燃料电池的输出功率，而超级电容的输出功率由混合动力车辆行驶所需总功率减去燃料电池输出功率得到。两种动力来源的功率值由车辆内的控制器进行控制。为实现对燃料电池及超级电容的混合能量管理，本专利技术首先在离线状态下对基于Q-learning的控制器进行训练，同时融合规则改变燃料电池的最大功率输出，以减小电流突变对燃料电池的影响，然后将离线训练好的控制器用于不同工况下的实时能源管理。下面详细描述本方法的具体实现步骤：S1：采集不同工况下，混合动力车辆运行过程中的样本数据。采集方法为：在不同车辆工况下，获取车辆行驶所需的实时功率，记一段行程中t时刻所需的瞬时功率为Pt，行程时长记为T。典型工况包括但不限于FTP-75工况、WVUSUB工况、HWFET工况及MANHATTAN工况等。S2：建立基于Q-learning的能源管理系统，具体方法为S21～S23：S21：根据超级电容SoC设计状态空间，并对状态空间进行离散化：其中SoCt表示t时刻的SoC状态；SoCmin和SoCmax分别表示SoC的最小值和最大值，d1表示状态空间的离散度，numstates表示状态个数；S22：根据燃料电池输出功率设计动作空间，并对动作空间进行离散化：at＝k×d2其中at表示燃料电池t时刻的功率输出，k表示以1为本文档来自技高网...

【技术保护点】
1.一种基于Q‑learning和规则的混合动力车辆运行实时能源管理方法，其特征在于，步骤如下：S1：采集不同工况下，混合动力车辆运行过程中的样本数据；S2：建立基于Q‑learning的能源管理系统，具体方法为S21～S23：S21：根据超级电容SoC设计状态空间，并对状态空间进行离散化：

【技术特征摘要】
1.一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法，其特征在于，步骤如下：S1：采集不同工况下，混合动力车辆运行过程中的样本数据；S2：建立基于Q-learning的能源管理系统，具体方法为S21～S23：S21：根据超级电容SoC设计状态空间，并对状态空间进行离散化：其中SoCt表示t时刻的SoC状态；SoCmin和SoCmax分别表示SoC的最小值和最大值，d1表示状态空间的离散度，numstates表示状态个数；S22：根据燃料电池输出功率设计动作空间，并对动作空间进行离散化：at＝k×d2其中at表示燃料电池t时刻的功率输出，k表示以1为基准的动作下表索引，d2表示动作空间的离散度，max_cell_power表示燃料电池最大功率输出预设值，numactions表示动作个数；S23：根据超级电容SoC状态设计奖励函数，奖励函数形式如下：其中rt表示t时刻的奖励，SoCt+1表示t+1时刻的SoC状态；S3：确定规则，用于对燃料电池最大功率输出预设值Phigh或Plow进行选择；规则的形式如下：S4：基于S1中的样本数据，结合S2中建立的基于Q-learning的能源管理系统和S3中确定的规则，离线训练控制器对混合能源进行实时分配管理，具体步骤如S41～S46：S41.初始化值函数Q(s,a)＝0；初始化max_cell_power＝Plow；初始化迭代次数n＝0；S42.初始化初始状态s0＝SoCinitial，其中SoCinitial为超级电容SoC初始设定值；初始化时间t＝1；n＝n+1；S43.根据贪心算法按照概率ε随机选出动作at，若不在概率ε内则使执行动作at，观察状态SoCt+1和奖励rt+...

【专利技术属性】
技术研发人员：陶吉利，谢亮，马龙华，张智焕，
申请(专利权)人：浙江大学宁波理工学院，
类型：发明
国别省市：浙江,33