一种基于深度强化学习的燃料电池系统的燃料供给方法技术方案

本发明专利技术实施例公开了一种基于深度强化学习的燃料电池系统的燃料供给方法，涉及燃料电池技术领域，能够改善燃料电池的使用效率和寿命。本发明专利技术包括：获取燃料电池系统的工况数据的样本集合，根据工况数据的样本集合得到功率需求，DDPG控制器的目标为：在燃料电池系统输出功率，满足能量控制策略需求功率的同时，保持过氧比在预设范围内，工况预测模型包括：氢气流量控制阀模型、空气压缩机模型和燃料电池系统模型；将实际的工况数据输入工况预测模型，得到速度预测序列；利用速度预测序列，得到燃料电池系统的实际功率需求，并根据实际功率需求控制燃料电池系统的氢气流量阀和空气压缩机。本发明专利技术适用于氢燃料电池系统。

【技术实现步骤摘要】
一种基于深度强化学习的燃料电池系统的燃料供给方法
本专利技术涉及燃料电池
，尤其涉及一种基于深度强化学习中的确定性策略梯度(DDPG)的燃料电池系统的燃料供给方法。
技术介绍
在能源逐渐枯竭的今天，传统的化石燃料载具也在尝试变革，新能源汽车、电驱动飞行器、新能源船舶等应运而生，而氢燃料电池混合动力系统，则是其中的一种能源解决方案。而目前燃料电池系统的燃料供给方法，大多是各种智能算法来控制空气压缩机的电压，目的是为了跟随最佳的过氧比。该种控制方法可以较为优秀的保证燃料电池的工作效率和使用寿命。但是，这种燃料电池系统的燃料供给方法也存在一些问题：由于燃料电池系统的目的只是跟随最佳过氧比，而由于附件损耗的问题，氢气的供给只是简单的按照一定的比例过量通入，不能够准确及时的满足由能量控制策略分配的燃料电池系统的功率需求。因此，需要突破传统方案的桎梏，进一步现多控制量、多目标的控制。
技术实现思路
本专利技术的实施例提供一种基于深度强化学习的燃料电池系统的燃料供给方法，能够及时准确的满足能量控制策略分配的燃料电池功率需求，且燃料电池系统的过氧比能很好的跟随最佳过氧比，改善燃料电池的使用效率和寿命。为达到上述目的，本专利技术的实施例采用如下技术方案：获取燃料电池系统的工况数据的样本集合，根据所述工况数据的样本集合得到功率需求，其中，所述工况数据至少包括：速度信息；利用DDPG控制器和所述功率需求，训练工况预测模型，其中，所述DDPG控制器的目标为：在燃料电池系统输出功率，满足能量控制策略需求功率的同时，保持过氧比在预设范围内，所述工况预测模型包括：氢气流量控制阀模型、空气压缩机模型和燃料电池系统模型；将实际的工况数据输入所述工况预测模型，得到速度预测序列；利用所述速度预测序列，得到所述燃料电池系统的实际功率需求，并根据所述实际功率需求控制所述燃料电池系统的氢气流量阀和空气压缩机。本专利技术实施例，属于燃料电池系统燃料供给控制领域，其主要的设计思路包括：建立氢气流量控制阀模型、空气压缩机模型以及燃料电池系统模型，建立DDPG控制器，确定DDPG控制器观测量、动作量、程序提前终止条件还有回报函数的参数，并训练基于DDPG的燃料电池系统燃料供给模型，通过车速预测神经网络得到未来车速，通过DDPG控制器控制汽车行驶。燃料电池系统可以有效的在考虑了附件损耗的前提下，及时准确的满足能量控制策略分配的燃料电池功率需求，且燃料电池系统的过氧比能很好的跟随最佳过氧比，改善燃料电池的使用效率和寿命。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本专利技术实施例提供的基于DDPG的燃料电池系统燃料供给流程图；图2为本专利技术实施例提供的氢气供给、空气供给以及燃料电池系统模型图；图3为本专利技术实施例提供的DDPG控制器参数设置图；图4为本专利技术实施例提供的基于DDPG算法的燃料电池系统燃料供给模型训练流程图；图5为本专利技术实施例提供的DDPG算法更新流程图。具体实施方式为使本领域技术人员更好地理解本专利技术的技术方案，下面结合附图和具体实施方式对本专利技术作进一步详细描述。下文中将详细描述本专利技术的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本专利技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本
技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本专利技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。本专利技术实施例提供一种基于深度强化学习的燃料电池系统的燃料供给方法，包括：S1、获取燃料电池系统的工况数据的样本集合，根据所述工况数据的样本集合得到功率需求。其中，所述工况数据至少包括：速度信息，例如搭载了燃料电池系统的车辆的驶速度信息，将其转变为功率需求，并根据预设的能量控制策略，可以得到典型工况的燃料电池系统的功率需求，用于模型训练。S2、利用DDPG控制器和所述功率需求，训练工况预测模型。其中，所述DDPG控制器的目标为：在燃料电池系统输出功率，满足能量控制策略需求功率的同时，保持过氧比在预设范围内，所述工况预测模型包括：氢气流量控制阀模型、空气压缩机模型和燃料电池系统模型。保持过氧比在预设范围内，包括：通过理论计算，得到最佳过氧比的数值，保持燃料电池的实际过氧比与最佳过氧比一致，在实际的自动控制中，保持一致不等于燃料电池的实际过氧比与最佳过氧比的数值始终等同，实际过氧比是在以最佳过氧比为中点的一定范围内波动的，而这个波动的范围则可以称为“预设范围”。S3、将实际的工况数据输入所述工况预测模型，得到速度预测序列。S4、利用所述速度预测序列，得到所述燃料电池系统的实际功率需求，并根据所述实际功率需求控制所述燃料电池系统的氢气流量阀和空气压缩机。本专利技术实施例，属于燃料电池系统燃料供给控制领域，其主要的设计思路包括：建立氢气流量控制阀模型、空气压缩机模型以及燃料电池系统模型，建立DDPG控制器，确定DDPG控制器观测量、动作量、程序提前终止条件还有回报函数的参数，并训练基于DDPG的燃料电池系统燃料供给模型，通过车速预测神经网络得到未来车速，通过DDPG控制器控制汽车行驶。采用本专利技术，燃料电池系统可以有效的在考虑了附件损耗的前提下，及时准确的满足能量控制策略分配的燃料电池功率需求，且燃料电池系统的过氧比能很好的跟随最佳过氧比，保证燃料电池的使用效率和寿命最佳。在本实施例中，还包括获取氢气流量控制阀模型：获取所述氢气流量控制阀的控制输入信号Wfcv＝ufcvWfcv,max。其中，在供给歧管中，认为没有水蒸气或者液态水存在。ufcv是氢气流量阀的控制电压，范围是0～1。Wfcv,max是喷嘴全开时的质量流量，所述氢气流量控制阀为可变开度喷嘴。获取氢本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的燃料电池系统的燃料供给方法，其特征在于，包括：/n获取燃料电池系统的工况数据的样本集合，根据所述工况数据的样本集合得到功率需求，其中，所述工况数据至少包括：速度信息；/n利用DDPG控制器和所述功率需求，训练工况预测模型，其中，所述DDPG控制器的目标为：在燃料电池系统输出功率，满足能量控制策略需求功率的同时，保持过氧比在预设范围内，所述工况预测模型包括：氢气流量控制阀模型、空气压缩机模型和燃料电池系统模型；/n将实际的工况数据输入所述工况预测模型，得到速度预测序列；/n利用所述速度预测序列，得到所述燃料电池系统的实际功率需求，并根据所述实际功率需求控制所述燃料电池系统的氢气流量阀和空气压缩机。/n

【技术特征摘要】
1.一种基于深度强化学习的燃料电池系统的燃料供给方法，其特征在于，包括：
获取燃料电池系统的工况数据的样本集合，根据所述工况数据的样本集合得到功率需求，其中，所述工况数据至少包括：速度信息；
利用DDPG控制器和所述功率需求，训练工况预测模型，其中，所述DDPG控制器的目标为：在燃料电池系统输出功率，满足能量控制策略需求功率的同时，保持过氧比在预设范围内，所述工况预测模型包括：氢气流量控制阀模型、空气压缩机模型和燃料电池系统模型；
将实际的工况数据输入所述工况预测模型，得到速度预测序列；
利用所述速度预测序列，得到所述燃料电池系统的实际功率需求，并根据所述实际功率需求控制所述燃料电池系统的氢气流量阀和空气压缩机。


2.根据权利要求1所述的方法，其特征在于，对所述DDPG控制器的目标进行设置，包括：
定义DDPG控制器中的参数，包括：观测量(observation)、控制量(action)、程序提前终止条件(isdone)和回报函数(reward)；
构建所述DDPG控制器的用于模型训练的双层神经网络。


3.根据权利要求2所述的方法，其特征在于，所述观测量(observation)包括：燃料电池系统的需求功率Pref，燃料电池系统实际输出功率P，电池系统实际输出功率与燃料电池系统需求功率的差值ΔP，燃料电池系统实际输出功率P与燃料电池系统需求功率的差值的变化率最佳过氧比当前燃料电池系统的过氧比当前燃料电池系统的过氧比与最佳过氧比的差值当前燃料电池系统的过氧比与最佳过氧比的差值的变化率
所述控制量(action)包括：氢气流量阀的控制电压ufcv，和输入空气压缩机的电压u；
所述程序提前终止条件(isdone)包括：当燃料电池系统的过氧比时提前终止程序；
所述回报函数(reward)如下：



Mt表示惩罚项，当的时候，Mt＝1，否则Mt＝0；Ms为奖励项，当的时候，Ms＝1，否则Ms＝0；Md也是奖励项，当的时候，Md＝1，否则Md＝0。


4.根据权利要求1所述的方法，其特征在于，还包括获取氢气流量控制阀模型：
获取所述氢气流量控制阀的控制输入信号Wfcv＝ufcvWfcv,max，其中，ufcv是氢气流量阀的控制电压，范围是0～1；Wfcv,max是喷嘴全开时的质量流量，所述氢气流量控制阀为可变开度喷嘴；
获取氢气在供给歧管中的动态过程其中，是阳极供给歧管中氢气的压力，是氢气的气体常数，Tsm是供给歧管温度，Vsm是供给歧管的体积，是进入阳极供给管道的氢气质量流，是阳极供给歧管流出的氢气质量流。


5.根据权利要求4所述的方法，其特征在于，还包括获取空气压缩机模型：
所述空气压缩机的模型包括：

其中，ωcp是空气压缩机的转速，Jcp是空气压缩机旋转部件的转动惯量，τcm是空气压缩机电机的扭矩，τcp是空气压缩机输出端的...

【专利技术属性】
技术研发人员：周健豪，廖宇晖，刘军，张仁鹏，薛源，薛四伍，顾诚，孙开培，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32