基于自适应动态规划的百兆瓦储能功率控制方法及系统技术方案

本发明专利技术提供基于自适应动态规划的百兆瓦储能功率控制方法及系统，所述方法包括如下步骤：设置自适应动态规划控制系统的结构并设置其参数；对参数初始化并导入被控对象的初始状态；初始训练执行模块和评价模块；计算百兆瓦储能系统充放电功率；依次训练所述评价模块和所述执行模块，并更新评价模块神经网络和执行模块神经网络的权值；保存当前时刻的控制策略，并计算下一时刻被控对象的状态；循环上述步骤，直至控制过程结束，并输出各时刻的控制策略。所述系统包括参数初始化模块、数据采集和计算模块、评价模块、执行模块、输出模块等。本发明专利技术实现大规模储能电站与新能源联合发电系统的功率优化控制，提升电池储能系统运行经济性及协调控制能力。

【技术实现步骤摘要】

本专利技术涉及智能电网、新能源发电、能源互联网、电力储能、自动控制领域，具体涉及一种基于自适应动态规划的百兆瓦级电池储能系统功率控制方法及系统。
技术介绍
随着风力发电并网规模的不断增加，风电大规模接入电网后的波动性和随机性会对电网运行的安全性、稳定性以及电能质量等造成不利影响。因此，控制风电输出的波动率对电网运行的经济性以及安全性有着重要意义按照存储形式的不同，储能可分为物理储能、电化学储能和电磁储能。目前电化学储能技术备受关注。可以通过配备一定容量的电池储能系统，根据风电和光伏发电等新能源发电出力的情况，采用电池储能系统的充放电作用来平滑风电和光伏发电的出力波动，并结合风电和光伏发电出力波动率和储能系统的荷电状态等指标进行整体优化，以满足电网对风电和光伏发电的并网要求。目前，我国已建成多个千万千瓦级新能源发电基地，在新能源发电富集区域电网中，对电池储能的容量要求通常达数十MW以上，甚至达百兆瓦以上。百兆瓦级电池储能参与新能源发电集群控制及系统调度运行，对破解新能源发电的送出和消纳瓶颈有重要意义。大规模储能技术是我国可再生能源发电利用的关键支撑技术。针对大规模可再生能源发电的接入，一方面通过储能技术与可再生能源发电的联合，减少其随机性并提高其可调性；另一方面通过电网级的储能应用增强电网对可再生能源发电的适应性。目前，储能作为电网的可调度资源，具有很大的应用价值和应用空间。在电网级应用中，需要储能进行秒至小时级的多时间尺度功率支撑。在储能与新能源发电联合并网应用时，百兆瓦电池储能电站整体需满足新能源发电从秒到分钟级不同时间尺度的响应需求。因此，如何基于大规模新能源发电的出力波动以及储能在电网级应用等实际需求，实现百兆瓦级电池储能电站整体出力多目标协调优化控制是亟待破解的技术难题。在大规模电池储能电站平滑大规模新能源发电出力波动时，采用传统的一阶低通滤波或变时间常数(T)的出力滤波方法，由于方法本身自带的时滞而导致有时控制灵敏度不佳。一般的移动平均滤波算法输出的储能出力目标值也在很大程度上受限于风电、光伏发电等新能源发电功率的输入，这些传统方法遇到新能源发电出力出现骤变的情况，滤波性能下降，且影响后续滤波效果。另一方面，在提高新能源发电友好性的储能电站出力控制时，传统控制方法在储能电站整体出力的自适应控制方面，其基于自学习的智能优化控制能力有待进一步提高。
技术实现思路
为了克服上述现有技术的不足，本专利技术提供一种基于自适应动态规划的百兆瓦电池储能系统功率控制方法，本专利技术所提出的控制方法通过有效融合智能优化控制理论，合理有效地控制百兆瓦储能系统的充放电功率，降低新能源发电功率并网给电网带来的冲击，同时对储能系统的工作能力和寿命进行优化保护，提升储能系统整体的技术经济性。为了实现上述专利技术目的，本专利技术采取如下技术方案：一种基于自适应动态规划的百兆瓦储能功率控制方法，所述方法包括如下步骤：(1)设置自适应动态规划控制系统的结构并设置其参数；(2)对参数初始化并导入被控对象的初始状态；(3)初始训练执行模块和评价模块；(4)计算百兆瓦储能系统充放电功率；(5)依次训练所述评价模块和所述执行模块，并更新评价模块神经网络和执行模块神经网络的权值；(6)保存当前时刻的控制策略，并计算下一时刻被控对象的状态，t＝t+1，重复步骤(1)到(5)；(7)循环上述步骤，直至控制过程结束，并输出各时刻的控制策略。优选的，所述步骤(1)中，所述自适应动态规划控制系统包括评价模块和执行模块两层结构，每个模块均用三层神经网络结构构建；设置所述参数包括设置评价模块和执行模块神经网络的参数，依据每个模块具体的输入量和输出量来设置。优选的，所述步骤(2)中，所述参数包括设定平滑时间常数的初始值、平滑时间的最大值和最小值、储能系统荷电状态SOC的初始值、当前时刻新能源发电出力功率以及计算当前平滑时间常数下的储能功率和风电波功率。优选的，所述步骤(3)中，所述初始训练执行模块和评价模块包括：设置评价模块的权值Wc和学习率lc，执行模块的权值Wa和学习率la，折扣因子r，评价模块训练的期望误差Tc、执行模块训练的期望误差Ta以及迭代最大次数，所述评价模块和所述执行模块权值的初始值设置为(-1,+1)间的随机值，依据控制效果要求选取和调整学习率和折扣因子。优选的，所述步骤(4)中，包括如下步骤：步骤4-1、以当前时刻t的新能源发电波动率x(t)作为所述执行模块的输入，得到所述执行模块的输出为控制策略u(t)，即时间常数的变化量；步骤4-2、依据所述u(t)调整一阶平滑过程中的平滑时间常数TWP，由一阶滤波的原理计算储能系统的充放电功率，得到一阶平滑滤波后储能系统充放电功率的目标值步骤4-3、判断当前时刻t下经所述u(t)调整后的新能源发电出力波动率、储能系统的荷电状态SOC以及平滑时间常数TWP是否在约束条件范围内，若在约束范围内，则当前时刻t的储能系统充放电功率即为否则依据失调的状态量再次调整储能系统充放电功率和自适应控制系统的效用函数，使状态量能够维持在约束范围内并实时在线调节所述时间常数的变化量ΔPBESS，得到经修正后当前时刻t的储能系统的充放电功率所述修正后储能系统的充放电功率按下式计算：式中，为储能系统经修正后的充放电功率；TWP为平滑滤波时间常数，依据执行模块输出的控制策略u(t)进行调整；s为拉普拉斯算子；PWP为当前时刻风电的实际出力；为一阶平滑滤波后储能系统功率的目标值；ΔPBESS是判断出SOC不在约束范围内时对储能系统功率进行的修正值，其中h是与控制系统相关的修正系数，与储能系统的能量转换单元的启停状态有关，γ是与SOC相关的修正系数，SOCref是储能系统SOC参考值，SOCmax与SOCmin分别是预先设定的储能系统SOC的上限值和下限值。优选的，所述步骤(5)中，训练所述评价模块，评价模块神经网络的权值的更新包括如下步骤：步骤5-1-1、新能源发电波动率x(t)和控制策略u(t)都经归一化处理为[-1,+1]后，将所述新能源发电波动率x(t)和所述控制策略u(t)作为所述评价模块的输入，所述评价模块的输出为代价函数J(t)；步骤5-1-2、构造目标函数Ec(t)训练所述评价模块，并根据所述评价模块的权值更新式，按下式计算更新所述评价模块神经网络的权值：U(t)＝[x(t),u(t),t]J(t)＝J[x(t),u(t),t,Wc]式中，代价函数J(t)为评价模块的输出；效用函数u(t)是关于x(t),u(t),t的函数，根据控制目标进行定义；r是折扣因子，Ec(t)是目标函数；步骤5-1-3、所述评价模块的训练采用梯度下降法或粒子群优化算法以使目标函数Ec(t)最小化为目标来更新评价模块神经网络的权值，当目标函数Ec(t)减小到设定评价模块训练的期望误差值Tc或迭代次数达到最大时，训练完成。优选的，所述步骤(5)中，训练所述执行模块，执行模块神经网络的权值的更新包括如下步骤：步骤5-2-1、所述执行模块的训练包括计算评价模块的输出J(t)，构造目标函数Ea(t)，以使目标函数Ea(t)最小化为目标，更新执行模块神经网络的权值Wa并调整控制策略u(t)，公式如下：u(t)＝u[x(t)，t，Wa]J(t)＝J[x本文档来自技高网...

【技术保护点】
一种基于自适应动态规划的百兆瓦储能功率控制方法，其特征在于，所述方法包括如下步骤：(1)设置自适应动态规划控制系统的结构并设置其参数；(2)对参数初始化并导入被控对象的初始状态；(3)初始训练执行模块和评价模块；(4)计算百兆瓦储能系统充放电功率；(5)依次训练所述评价模块和所述执行模块，并更新评价模块神经网络和执行模块神经网络的权值；(6)保存当前时刻的控制策略，并计算下一时刻被控对象的状态，t＝t+1，重复步骤(1)到(5)；(7)循环上述步骤，直至控制过程结束，并输出各时刻的控制策略。

【技术特征摘要】
1.一种基于自适应动态规划的百兆瓦储能功率控制方法，其特征在于，所述方法包括如下步骤：(1)设置自适应动态规划控制系统的结构并设置其参数；(2)对参数初始化并导入被控对象的初始状态；(3)初始训练执行模块和评价模块；(4)计算百兆瓦储能系统充放电功率；(5)依次训练所述评价模块和所述执行模块，并更新评价模块神经网络和执行模块神经网络的权值；(6)保存当前时刻的控制策略，并计算下一时刻被控对象的状态，t＝t+1，重复步骤(1)到(5)；(7)循环上述步骤，直至控制过程结束，并输出各时刻的控制策略。2.根据权利要求1所述控制方法，其特征在于，所述步骤(1)中，所述自适应动态规划控制系统包括评价模块和执行模块两层结构，每个模块均用三层神经网络结构构建；设置所述参数包括设置评价模块和执行模块神经网络的参数，依据每个模块具体的输入量和输出量来设置。3.根据权利要求1所述控制方法，其特征在于，所述步骤(2)中，所述参数包括设定平滑时间常数的初始值、平滑时间的最大值和最小值、储能系统荷电状态SOC的初始值、当前时刻新能源发电出力功率以及计算当前平滑时间常数下的储能功率和风电波功率。4.根据权利要求1所述控制方法，其特征在于，所述步骤(3)中，所述初始训练执行模块和评价模块包括：设置评价模块的权值Wc和学习率lc，执行模块的权值Wa和学习率la，折扣因子r，评价模块训练的期望误差Tc、执行模块训练的期望误差Ta以及迭代最大次数，所述评价模块和所述执行模块权值的初始值设置为(-1,+1)间的随机值，依据控制效果要求选取和调整学习率和折扣因子。5.根据权利要求1所述控制方法，其特征在于，所述步骤(4)中，包括如下步骤：步骤4-1、以当前时刻t的新能源发电波动率x(t)作为所述执行模块的输入，得到所述执行模块的输出为控制策略u(t)，即时间常数的变化量；步骤4-2、依据所述u(t)调整一阶平滑过程中的平滑时间常数TWP，由一阶滤波的原理 计算储能系统的充放电功率，得到一阶平滑滤波后储能系统充放电功率的目标值步骤4-3、判断当前时刻t下经所述u(t)调整后的新能源发电出力波动率、储能系统的荷电状态SOC以及平滑时间常数TWP是否在约束条件范围内，若在约束范围内，则当前时刻t的储能系统充放电功率即为否则依据失调的状态量再次调整储能系统充放电功率和自适应控制系统的效用函数，使状态量能够维持在约束范围内并实时在线调节所述时间常数的变化量ΔPBESS，得到经修正后当前时刻t的储能系统的充放电功率所述修正后储能系统的充放电功率按下式计算：式中，为储能系统经修正后的充放电功率；TWP为平滑滤波时间常数，依据执行模块输出的控制策略u(t)进行调整；s为拉普拉斯算子；PWP为当前时刻风电的实际出力；为一阶平滑滤波后储能系统功率的目标值；ΔPBESS是判断出SOC不在约束范围内时对储能系统功率进行的修正值，其中h是与控制系统相关的修正系数，与储能系统的能量转换单元的启停状态有关，γ是与SOC相关的修正系数，SOCref是储能系统SOC参考值，...

【专利技术属性】
技术研发人员：李相俊，张晶琼，何宇婷，惠东，贾学翠，
申请(专利权)人：中国电力科学研究院，国网新源张家口风光储示范电站有限公司，国网江苏省电力公司，国家电网公司，
类型：发明
国别省市：北京;11