一种分布式储能系统二次调频控制方法及系统技术方案

本发明专利技术公开了一种分布式储能系统二次调频控制方法，所述方法包括：根据电力系统允许频率偏差范围，确定所述电力系统的系统频率状态区间；确定储能系统的状态区间；根据所述系统频率状态区间和所述状态区间，建立强化学习矩阵，确定强化学习学习率；对所述状态区间进行初始化；根据所述强化学习矩阵的更新策略，计算下一时刻所有动作的奖励值，采取奖励值最大的策略对应的选择动作；利用所述选择动作获取所述强化学习矩阵的某一元素的值，更新所述强化学习矩阵；当所述强化学习矩阵满足收敛条件时，将所述强化学习矩阵进行保存；利用所述经过保存的强化学习矩阵，对分布式储能系统二次调频进行控制。

A control method and system of secondary frequency modulation for distributed energy storage system

【技术实现步骤摘要】
一种分布式储能系统二次调频控制方法及系统
本专利技术涉及电力储能
，更具体地，涉及一种分布式储能系统二次调频控制方法及系统。
技术介绍
储能技术主要是指电能的储存。储存的能量可以用做应急能源，也可以用于在电网负荷低的时候储能，在电网高负荷的时候输出能量，用于削峰填谷，减轻电网波动。能量有多种形式，包括辐射，化学的，重力势能，电势能，电力，高温，潜热和动力。能量储存涉及将难以储存的形式的能量转换成更便利或经济可存储的形式。大量储能目前主要由发电水坝组成，无论是传统的还是水泵抽水的。近年来，储能技术快速发展，在国家政策支持以及市场的引导下，储能成本明显降低。储能系统的快速发展给电力系统的安全稳定运行带来了新的生机，电池储能技术具有快速精确的响应能力，比传统调频手段更为高效。强化学习(reinforcementlearning)是一种重要的机器学习方法，在智能控制及分析预测等领域有许多应用，将人工智能技术应用到电力系统中是未来电力系统的一种发展趋势。因此，需要一种技术，以实现对分布式储能系统二次调频进行控制。
技术实现思路
本专利技术技术方案提供了一种分布式储能系统二次调频控制方法及系统，以解决如何对分布式储能系统进行二次调频控制的问题。为了解决上述问题，本专利技术提供了一种分布式储能系统二次调频控制方法，所述方法包括：根据电力系统允许频率偏差范围，确定所述电力系统的系统频率状态区间；确定储能系统的状态区间；根据所述系统频率状态区间和所述状态区间，建立强化学习矩阵，确定强化学习学习率；对所述状态区间进行初始化；根据所述强化学习矩阵的更新策略，计算下一时刻所有动作的奖励值，采取奖励值最大的策略对应的选择动作；利用所述选择动作获取所述强化学习矩阵的某一元素的值，更新所述强化学习矩阵；当所述强化学习矩阵满足收敛条件时，将所述强化学习矩阵进行保存；利用所述经过保存的强化学习矩阵，对分布式储能系统二次调频进行控制。优选地，所述强化学习矩阵的收敛条件为：当所述强化学习矩阵在k次循环中没有变化，即Qi＝Qi+1＝Qi+2＝…＝Qi+k-1＝Qi+k，其中Qi、Qi+1、Qi+2、Qi+k-1、Qi+k分别为第i、i+1、i+2、i+k-1、i+k次循环得到的强化学习矩阵，k值根据需要进行设定。优选地，当所述强化学习矩阵在达到预设的时间后仍不满足收敛条件，则停止计算下一时刻所有动作的奖励值。优选地，还包括，对所述强化学习矩阵Q进行归一化处理，归一化规则为：其中Quni为归一化的强化学习矩阵Q，Qmax为强化学习矩阵Q中的最大元素。优选地，当奖励值最大的策略为多个时，任意采取其中一种选择动作。基于本专利技术的另一方面，提供一种分布式储能系统二次调频控制系统，所述系统包括：第一初始单元，用于根据电力系统允许频率偏差范围，确定所述电力系统的系统频率状态区间；第二初始单元，用于确定储能系统的状态区间；第三初始单元，用于根据所述系统频率状态区间和所述状态区间，建立强化学习矩阵，确定强化学习学习率；第四初始单元，用于对所述状态区间进行初始化；计算单元，用于根据所述强化学习矩阵的更新策略，计算下一时刻所有动作的奖励值，采取奖励值最大的策略对应的选择动作；更新单元，用于利用所述选择动作获取所述强化学习矩阵的某一元素的值，更新所述强化学习矩阵；控制单元，用于当所述强化学习矩阵满足收敛条件时，将所述强化学习矩阵进行保存；利用所述经过保存的强化学习矩阵，对分布式储能系统二次调频进行控制。优选地，所述强化学习矩阵的收敛条件为：当所述强化学习矩阵在k次循环中没有变化，即Qi＝Qi+1＝Qi+2＝…＝Qi+k-1＝Qi+k，其中Qi、Qi+1、Qi+2、Qi+k-1、Qi+k分别为第i、i+1、i+2、i+k-1、i+k次循环得到的强化学习矩阵，k值根据需要进行设定。优选地，还包括终止单元，用于当所述强化学习矩阵在达到预设的时间后仍不满足收敛条件，则停止计算下一时刻所有动作的奖励值。优选地，还包括归一单元，用于对所述强化学习矩阵Q进行归一化处理，归一化规则为：其中Quni为归一化的强化学习矩阵Q，Qmax为强化学习矩阵Q中的最大元素。优选地，所述计算单元还用于：当奖励值最大的策略为多个时，任意采取其中一种选择动作。本专利技术技术方案提供一种分布式储能系统二次调频控制方法及系统，用于实现对电力系统频率的无差调节。其中方法包括：根据电力系统允许频率偏差范围，确定电力系统的系统频率状态区间；确定储能系统的状态区间；根据系统频率状态区间和状态区间，建立强化学习矩阵，确定强化学习学习率；对状态区间进行初始化；根据强化学习矩阵的更新策略，计算下一时刻所有动作的奖励值，采取奖励值最大的策略对应的选择动作；利用选择动作获取强化学习矩阵的某一元素的值，更新强化学习矩阵；当强化学习矩阵满足收敛条件时，将强化学习矩阵进行保存；利用经过保存的强化学习矩阵，对分布式储能系统二次调频进行控制。本专利技术技术方案，实现了分布式储能系统更加精准的参与电力系统二次调频，使电力系统频率维持在额定频率，改善频率波动性，提高电力系统稳定性。同时延长电池储能系统寿命，降低成本。附图说明通过参考下面的附图，可以更为完整地理解本专利技术的示例性实施方式：图1为根据本专利技术优选实施方式的分布式储能系统二次调频控制方法流程图；图2为根据本专利技术优选实施方式的分布式储能系统二次调频控制方法流程图；图3为根据本专利技术优选实施方式的分布式储能系统接入电网示意图；以及图4为根据本专利技术优选实施方式的分布式储能系统二次调频控制系统结构图。具体实施方式现在参考附图介绍本专利技术的示例性实施方式，然而，本专利技术可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本专利技术，并且向所属
的技术人员充分传达本专利技术的范围。对于表示在附图中的示例性实施方式中的术语并不是对本专利技术的限定。在附图中，相同的单元/元件使用相同的附图标记。除非另有说明，此处使用的术语(包括科技术语)对所属
的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。图1为根据本专利技术优选实施方式的分布式储能系统二次调频控制方法流程图。由于电网中的储能系统将逐步采用分布式接入方式，分布式储能系统参与系统的调频控制方法将更为复杂，本申请将强化学习理论引入到对分布式储能的控制上，以实现对多点接入的分布式纯南瓜系统参与电力系统二次调频的精准控制。本专利技术实施方式提供了一种分布式电储能系统二次调频控制方法及系统，主要针对当电力系统中因负荷变化导致系统频率波动，当系统一次调频完成有差调节后，系统频率仍存在的偏差，分布本文档来自技高网...

【技术保护点】
1.一种分布式储能系统二次调频控制方法，所述方法包括：/n根据电力系统允许频率偏差范围，确定所述电力系统的系统频率状态区间；/n确定储能系统的状态区间；/n根据所述系统频率状态区间和所述状态区间，建立强化学习矩阵，确定强化学习学习率；/n对所述状态区间进行初始化；/n根据所述强化学习矩阵的更新策略，计算下一时刻所有动作的奖励值，采取奖励值最大的策略对应的选择动作；/n利用所述选择动作获取所述强化学习矩阵的某一元素的值，更新所述强化学习矩阵；/n当所述强化学习矩阵满足收敛条件时，将所述强化学习矩阵进行保存；利用所述经过保存的强化学习矩阵，对分布式储能系统二次调频进行控制。/n

【技术特征摘要】
1.一种分布式储能系统二次调频控制方法，所述方法包括：
根据电力系统允许频率偏差范围，确定所述电力系统的系统频率状态区间；
确定储能系统的状态区间；
根据所述系统频率状态区间和所述状态区间，建立强化学习矩阵，确定强化学习学习率；
对所述状态区间进行初始化；
根据所述强化学习矩阵的更新策略，计算下一时刻所有动作的奖励值，采取奖励值最大的策略对应的选择动作；
利用所述选择动作获取所述强化学习矩阵的某一元素的值，更新所述强化学习矩阵；
当所述强化学习矩阵满足收敛条件时，将所述强化学习矩阵进行保存；利用所述经过保存的强化学习矩阵，对分布式储能系统二次调频进行控制。


2.根据权利要求1所述的方法，所述强化学习矩阵的收敛条件为：
当所述强化学习矩阵在k次循环中没有变化，即Qi＝Qi+1＝Qi+2＝…＝Qi+k-1＝Qi+k，其中Qi、Qi+1、Qi+2、Qi+k-1、Qi+k分别为第i、i+1、i+2、i+k-1、i+k次循环得到的强化学习矩阵，其中Qi、Qi+1、Qi+2、Qi+k-1、Qi+k分别为第i、i+1、i+2、i+k-1、i+k次循环得到的强化学习矩阵，k值根据需要进行设定。


3.根据权利要求1所述的方法，当所述强化学习矩阵在达到预设的时间后仍不满足收敛条件，则停止计算下一时刻所有动作的奖励值。


4.根据权利要求1所述的方法，还包括，对所述强化学习矩阵Q进行归一化处理，归一化规则为：



其中Quni为归一化的强化学习矩阵Q，Qmax为强化学习矩阵Q中的最大元素。


5.根据权利要求1所述的方法，当奖励值最大的策略为多个时，任意采取其中一种选择动作。


6.一种分布式储能系统二次调频控制系统，所述系统包括：
第一初始单...

【专利技术属性】
技术研发人员：李相俊，马锐，刘汉民，贾学翠，田云峰，王上行，杨水丽，马会萌，董文琦，毛海波，史学伟，
申请(专利权)人：中国电力科学研究院有限公司，国网新源张家口风光储示范电站有限公司，国家电网有限公司，
类型：发明
国别省市：北京;11