一种基于深度强化学习的燃料电池故障容错控制方法技术

本发明专利技术公开了一种基于深度强化学习的燃料电池故障容错控制方法

【技术实现步骤摘要】
一种基于深度强化学习的燃料电池故障容错控制方法


[0001]本专利技术涉及燃料电池容错控制
，更具体地，涉及一种基于深度强化学习的燃料电池故障容错控制方法
。

技术介绍

[0002]燃料电池由于其高能量转换率和环境友好性，广泛应用于电动汽车
、
便携式电源和热电联产等领域
。
燃料电池通过氢气和氧气进行氧化还原反应，将燃料中的化学能转化为电能，发电过程可实现零排放
。
在质子交换膜燃料电池中，水热管理是一项非常复杂和重要的任务
。
水热管理主要涉及控制燃料电池内部的温度和湿度，以确保燃料电池的正常运行并提高其效率
。
燃料电池的运行需要适当的温度和湿度条件，过高或过低的温度都可能影响燃料电池的性能和寿命
。
水热管理可以通过各种方法来实现，包括使用冷却剂
、
传热板
、
循环气流和湿度控制等
。
这些方法可以帮助维持燃料电池的温度在合适的范围内，并控制湿度以防止膜干燥或水分过多
。
因为水热管理对于燃料电池的性能和寿命至关重要，所以在燃料电池系统的设计和运行中，需要仔细考虑水热管理策略，并采取相应的措施来优化燃料电池的性能和可靠性
。
[0003]在现有技术中，燃料电池的容错控制方法主要分为被动容错控制和主动容错控制，其中被动容错控制是对故障的预期补偿，而主动容错控制能够对系统故障的任何变化做出适当的响应
。
相较于被动容错控制仅对小范围的预定义故障起作用，主动容错控制因其引入诊断和决策系统和具备处理多种不同故障的能力成为容错控制领域的研究热点
。
目前使用的容错控制方法主要包含基于
PID、
非线性控制器和模型等方法
。
例如，文献
(Yan,C.,et al.(2020)."Model
‑
Based Fault Tolerant Control for the Thermal Management of PEMFC Systems."IEEE Transactions on Industrial Electronics67(4):2875
‑
2884.)
由级联
PID
和滑动模式控制器组成，实验结果表明，即使传感器发生故障，质子交换膜燃料电池的温度也能高精度地保持在参考值
。
文献
(Wu,X.and B.Zhou(2016)."Fault tolerance control for proton exchange membrane fuel cell systems."Journal of Power Sources 324:804
‑
829.)
提出了一种方案，能够同时对质子交换膜燃料电池进行故障诊断和容错控制
。
该方案先由故障诊断模块检测电流故障类型，然后根据诊断结果由重构机制模块选择备份控制器，最后由基于反馈线性化方法的非线性控制器进行容错控制
。
专利申请
CN114976133A
公开了基于模型的质子交换膜燃料电池水管理容错控制方法，其先构建燃料电池水传输模型，并设计了水淹故障因子，再基于故障因子构建水管理容错控制器，通过调整阴极进气流量抑制水淹，以提高系统的稳定性
。
[0004]虽然现有方案在燃料电池容错控制方面取得了一定的效果，但仍存在一些缺陷
。
例如，基于
PID
和基于模型的方法较为依赖系统模型，如果系统模型不准确或难以获取，其控制的性能可能会受到影响
。
此外，
PID
控制算法对于非线性和复杂系统的控制能力有限
。
而基于反馈线性化的非线性控制器通常依赖完备的或者精确近似的系统模型，不完善的建模误差会对控制性能产生严重影响，并且反馈线性化对于具有高维输入输出系统的实现较
为复杂，对控制系统的设计
、
调优以及实现都更具有挑战性
。

技术实现思路

[0005]本专利技术的目的是克服上述现有技术的缺陷，提供一种基于深度强化学习的燃料电池故障容错控制方法
。
该方法包括以下步骤：
[0006]针对燃料电池系统，判断燃料电池堆的故障类型，所述燃料电池系统包含燃料电池堆
、
阳极加湿器
、
阴极加湿器
、
水泵和散热器；
[0007]在燃料电池堆发生故障的情况下，利用基于深度强化学习的控制模型输出满足设定目标函数的最优容错控制策略，以对阳极加湿器
、
阴极加湿器
、
水泵以及散热器进行协同控制，并根据故障类型进行相应的恢复操作；
[0008]其中，所述控制模型将容错控制策略作为智能体，将燃料电池堆作为环境，智能体与环境进行交互，并获取奖励信号，进而基于该奖励信号来学习所述最优容错控制策略
。
[0009]与现有技术相比，本专利技术的优点在于，所提供的基于深度强化学习的燃料电池故障容错控制方法通过与环境的交互来学习最优控制策略，有利于更好地处理复杂和动态环境，并且由智能体不断与环境交互从而自主学习控制策略，能够处理复杂的非线性系统，从而具有较强的适应性和泛化能力
。
[0010]通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚
。
附图说明
[0011]被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理
。
[0012]图1是根据本专利技术一个实施例的基于深度强化学习的燃料电池故障容错控制方法的流程图
[0013]图2是根据本专利技术一个实施例的燃料电池系统结构图；
[0014]图3是根据本专利技术一个实施例的燃料电池故障诊断及容错控制的过程示意图；
[0015]图4是根据本专利技术一个实施例的基于
SoftActor
‑
Critic
算法的燃料电池容错控制过程示意图
。
具体实施方式
[0016]现在将参照附图来详细描述本专利技术的各种示例性实施例
。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置
、
数字表达式和数值不限制本专利技术的范围
。
[0017]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制
。
[0018]对于相关领域普通技术人员已知的技术
、
方法和设备可能不作详细讨论，但在适当情况下，所述技术
、
方法和设备应当被视为说明书的一部分
。
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于深度强化学习的燃料电池故障容错控制方法，包括以下步骤：针对燃料电池系统，判断燃料电池堆的故障类型，所述燃料电池系统包含燃料电池堆
、
阳极加湿器
、
阴极加湿器
、
水泵和散热器；在燃料电池堆发生故障的情况下，利用基于深度强化学习的控制模型输出满足设定目标函数的最优容错控制策略，以对阳极加湿器
、
阴极加湿器
、
水泵以及散热器进行协同控制，并根据故障类型进行相应的恢复操作；其中，所述控制模型将容错控制策略作为智能体，将燃料电池堆作为环境，智能体与环境进行交互，并获取奖励信号，进而基于该奖励信号来学习所述最优容错控制策略
。2.
根据权利要求1所述的方法，其特征在于，所述判断燃料电池堆的故障类型包括：将燃料电池堆的输出电压与理想输出电压进行比较，若输出电压不在设定的正常范围内，则判断存在故障；在判断存在故障的情况下，在给定功率需求下，将燃料电池堆阴极的进口和出口压力降与设定的正常压力降范围进行比较，若压力降超出正常压力降范围，则判定为水淹故障，若压力降在正常压力降范围，则判定为膜干故障
。3.
根据权利要求1所述的方法，其特征在于，所述控制模型的观测状态空间表示为：
S
＝
[T
out
,RH
anode
,RH
cathode
,
Δ
V,
Δ
P,Q]
其中，
T
out
表示燃料电池堆的出口温度，
RH
anode
表示燃料电池堆阳极的相对湿度，
RH
cathode
燃料电池堆阴极的相对湿度，
Δ
V
表示燃料电池堆的输出电压与理想输出电压的差值，
Δ
P
表示燃料电池堆阴极的进口和出口压力降与当前功率需求下的正常压力降的差值，
Q
表示故障类型
。4.
根据权利要求1所述的方法，其特征在于，所述控制模型采取的动作空间表示为：
A
＝
[W
anode
,W
cathode
,f
water
,f
air
]
其中，
W
anode
表示阳极加湿器额外注入的水量，
W
cathode
表示阴极加湿器额外注入的水量，
f
w...

【专利技术属性】
技术研发人员：郑春花，肖耀，伏圣祥，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：