储能系统及其热管理方法技术方案

本发明专利技术提供一种储能系统及其热管理方法，该方法包括：加载由仿真环境预先训练调优的多智能体强化学习模型；接收当前时刻的状态观测数据；将状态观测数据输入至多智能体强化学习模型进行强化学习推理，输出多控制动作信息；基于多控制动作信息，生成控制动作信息指令，并下发至储能系统的冷却系统，控制冷却系统对储能系统进行热管理调控。在本方案中，在加载多智能体强化学习模型后，利用多智能体强化学习模型对状态观测数据进行强化学习推理，从而基于得到的多控制动作信息生成控制动作信息指令，并下发至储能系统的冷却系统，以控制冷却系统对储能系统进行热管理调控，进而降低热管理控制过程中产生的温度滞后效应影响，灵活控制热管理系统。控制热管理系统。控制热管理系统。

【技术实现步骤摘要】
储能系统及其热管理方法


[0001]本专利技术涉及储能
，尤其涉及一种储能系统及其热管理方法。

技术介绍

[0002]随着电化学储能技术的不断发展，电化学储能在全球新能源配储的占比也不断增加，大容量、高集成式的锂电池储能系统成为重要的发展趋势，对电池安全和温度一致性也提出了越来越高的要求，相应的冷却系统的耗电功率也越来越大。因此，需要进行热管理控制。
[0003]在相关技术中，通常的热管理控制方法是冷却系统中的液冷机组的控制系统依据冷却液的温度和电池箱温度的差值对控制模式进行调控。此外，依据电池箱的温度范围进行递进式模式切换，以达到降低功率损耗和减少电池箱内温差的目的。
[0004]但是，现有的热管理控制方法是基于人工经验进行温度设定，且热管理控制过程中容易产生温度滞后效应，无法依据客观状态对电池箱产热和散热进行灵活控制。

技术实现思路

[0005]有鉴于此，本专利技术实施例提供一种储能系统及其热管理方法，以降低热管理控制过程中产生的温度滞后效应影响，灵活控制热管理系统。
[0006]为实现上述目的，本专利技术实施例提供如下技术方案：
[0007]本专利技术实施例第一方面公开了一种储能系统的热管理方法，应用于所述储能系统中的智能电池热管理单元，所述方法包括：
[0008]加载由仿真环境预先训练调优的多智能体强化学习模型；
[0009]接收当前时刻的状态观测数据；
[0010]将所述状态观测数据输入至所述多智能体强化学习模型进行强化学习推理，输出多控制动作信息；
[0011]基于所述多控制动作信息，生成控制动作信息指令，并下发至所述储能系统的冷却系统，控制所述冷却系统对所述储能系统进行热管理调控。
[0012]可选的，在所述接收当前时刻的状态观测数据之后，还包括：
[0013]统计所述状态观测数据的观测时间步，并判断所述观测时间步是否达到预设长度；
[0014]若是，获取历史观测数据，并利用所述历史观测数据对所述多智能体强化学习模型进行迭代训练，更新所述多智能体强化学习模型参数；
[0015]若否，继续执行所述接收当前时刻的状态观测数据这一步骤。
[0016]可选的，所述控制所述冷却系统对所述储能系统进行热管理调控，包括：
[0017]控制所述冷却系统，对所述储能系统中的电池系统进行热管理调控；
[0018]或者，控制所述冷却系统，对所述电池系统和所述储能系统中的电能变换单元进行热管理调控。
[0019]可选的，所述预先训练调优多智能体强化学习模型的过程，包括：
[0020]获取所述储能系统的状态参数和控制参数；
[0021]根据所述状态参数和所述控制参数，确认多智能体强化学习模型的状态观测空间、动作空间、约束空间和奖励函数；
[0022]基于所述状态观测空间、所述动作空间、所述约束空间以及所述奖励函数，搭建多智能体强化学习模型；
[0023]接收t时刻的状态观测数据，将所述状态观测数据输入至所述多智能体强化学习模型进行训练，输出t+1时刻的动作a(t+1)、奖励r(t)和状态s(t+1)；
[0024]根据所述动作a(t+1)、所述奖励r(t)和所述状态s(t+1)，计算状态价值函数和优势函数；
[0025]将由所述动作a(t+1)、所述奖励r(t)、所述状态s(t+1)、所述状态价值函数和所述优势函数形成的序列存储至数据缓冲池；
[0026]从所述数据缓冲池中随机采样N个序列作为训练数据，N为正整数；
[0027]基于采样得到的批序列，计算所述多智能体强化学习模型中的神经网络参数梯度；
[0028]利用所述神经网络参数梯度，更新所述多智能体强化学习模型中的神经网络参数。
[0029]可选的，还包括：
[0030]将由当前状态、动作、奖励、下一状态、状态价值函数和优势函数形成的序列存储至所述数据缓冲池，随机抽取预设批大小的序列训练所述多智能体强化学习模型，利用所述状态观测数据更新所述多智能体强化学习模型中的神经网络，直至所述多智能体强化学习模型收敛。
[0031]可选的，所述获取所述储能系统的状态参数和控制参数，包括：
[0032]通过所述储能系统中的能量管理系统EMS，获取所述储能系统中的电池系统在当前控制时段和下一控制时段的充放电电流和环境温度；
[0033]分别获取所述电池系统的当前电芯状态参数，以及所述储能系统中的冷却系统的各组件功耗和载体回收温度，所述当前电芯状态参数包括当前电芯温度和SOC状态；
[0034]获取所述冷却系统的控制参数，所述控制参数包括所述冷却系统的控制模式、水泵转速和冷却液出口温度。
[0035]本专利技术实施例第二方面公开了一种储能系统，包括：冷却系统、电池系统、电能变换单元、EMS以及智能电池热管理单元；
[0036]所述EMS的一端与所述电能变换单元通信连接，另一端与所述储能系统的下游设备通信相连，用于接收所述下游设备发送的预测功率，根据所述预测功率确定所述电池系统在下一预设时段的充放电电流，所述预测功率包括发电预测功率和负荷预测功率；
[0037]所述智能电池热管理单元分别与所述冷却系统、所述电能变换单元、所述EMS以及气象系统通信相连，用于执行如权利要求1
‑
6任一项所述的储能系统的热管理方法。
[0038]可选的，所述电能变换单元包括：DC/AC单元和多个DC/DC单元；
[0039]所述DC/AC单元的直流侧通过直流母线与多个所述DC/DC单元连接；
[0040]所述DC/AC单元的通信侧与所述EMS通信连接；
[0041]每一所述DC/DC单元与所述智能电池热管理单元通信连接。
[0042]可选的，当所述冷却系统为冷却液系统，且仅为所述电池系统进行热管理调控时，所述冷却系统包括：电芯液冷板、板式热交换器、压缩机、冷凝器、空水交换器、第一加热器、第一循环泵以及第一电磁三通阀；
[0043]所述电芯液冷板的第一端与所述板式热交换器的第一输入端相连，所述板式热交换器的第一输出端与所述第一电磁三通阀的第一端相连；
[0044]所述第一电磁三通阀的第二端依次通过所述第一循环泵和所述第一加热器与所述电芯液冷板的第二端相连；
[0045]所述第一电磁三通阀的第三端与所述空水交换器的第二端相连，所述空水交换器的第一端与所述板式热交换器的第一输入端相连；
[0046]所述板式热交换器的第二输出端依次通过所述冷凝器和所述压缩机，与所述板式热交换器的第二输入端相连。
[0047]可选的，冷却液内循环为：由所述电芯液冷板、所述板式热交换器、所述第一电磁三通阀、所述第一循环泵以及所述第一加热器之间形成的循环；
[0048]冷却液外循环为：由所述电芯液冷板、所述空水交换器、所述第一电磁三通阀、所述第一循环泵以及所述第一加热器之间形成的循环；
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种储能系统的热管理方法，其特征在于，应用于所述储能系统中的智能电池热管理单元，所述方法包括：加载由仿真环境预先训练调优的多智能体强化学习模型；接收当前时刻的状态观测数据；将所述状态观测数据输入至所述多智能体强化学习模型进行强化学习推理，输出多控制动作信息；基于所述多控制动作信息，生成控制动作信息指令，并下发至所述储能系统的冷却系统，控制所述冷却系统对所述储能系统进行热管理调控。2.根据权利要求1所述的方法，其特征在于，在所述接收当前时刻的状态观测数据之后，还包括：统计所述状态观测数据的观测时间步，并判断所述观测时间步是否达到预设长度；若是，获取历史观测数据，并利用所述历史观测数据对所述多智能体强化学习模型进行迭代训练，更新所述多智能体强化学习模型参数；若否，继续执行所述接收当前时刻的状态观测数据这一步骤。3.根据权利要求1所述的方法，其特征在于，所述控制所述冷却系统对所述储能系统进行热管理调控，包括：控制所述冷却系统，对所述储能系统中的电池系统进行热管理调控；或者，控制所述冷却系统，对所述电池系统和所述储能系统中的电能变换单元进行热管理调控。4.根据权利要求1所述的方法，其特征在于，所述预先训练调优多智能体强化学习模型的过程，包括：获取所述储能系统的状态参数和控制参数；根据所述状态参数和所述控制参数，确认多智能体强化学习模型的状态观测空间、动作空间、约束空间和奖励函数；基于所述状态观测空间、所述动作空间、所述约束空间以及所述奖励函数，搭建多智能体强化学习模型；接收t时刻的状态观测数据，将所述状态观测数据输入至所述多智能体强化学习模型进行训练，输出t+1时刻的动作a(t+1)、奖励r(t)和状态s(t+1)；根据所述动作a(t+1)、所述奖励r(t)和所述状态s(t+1)，计算状态价值函数和优势函数；将由所述动作a(t+1)、所述奖励r(t)、所述状态s(t+1)、所述状态价值函数和所述优势函数形成的序列存储至数据缓冲池；从所述数据缓冲池中随机采样N个序列作为训练数据，N为正整数；基于采样得到的批序列，计算所述多智能体强化学习模型中的神经网络参数梯度；利用所述神经网络参数梯度，更新所述多智能体强化学习模型中的神经网络参数。5.根据权利要求4所述的方法，其特征在于，还包括：将由当前状态、动作、奖励、下一状态、状态价值函数和优势函数形成的序列存储至所述数据缓冲池，随机抽取预设批大小的序列训练所述多智能体强化学习模型，利用所述状态观测数据更新所述多智能体强化学习模型中的神经网络，直至所述多智能体强化学习模
型收敛。6.根据权利要求4所述的方法，其特征在于，所述获取所述储能系统的状态参数和控制参数，包括：通过所述储能系统中的能量管理系统EMS，获取所述储能系统中的电池系统在当前控制时段和下一控制时段的充放电电流和环境温度；分别获取所述电池系统的当前电芯状态参数，以及所述储能系统中的冷却系统的各组件功耗和载体回收温度，所述当前电芯状态参数包括当前电芯温度和SOC状态；获取所述冷却系统的控制参数，所述控制参数包括所述冷却系统的控制模式、水泵转速和冷却液出口温度。7.一种储能系统，其特征在于，包括：冷却系统、电池系统、电能变换单元、EMS以及智能电池热管理单元；所述EMS的一端与所述电能变换单元通信连接，另一端与所述储能系统的下游设备通信相连，用于接收所述下游设备...

【专利技术属性】
技术研发人员：赵子豪，周俭节，洪婷婷，曹晓辉，陈方林，江露露，
申请(专利权)人：阳光储能技术有限公司，
类型：发明
国别省市：