【技术实现步骤摘要】
本专利技术涉及电力系统能源调度，尤其涉及一种基于深度强化学习计及新能源消纳的主动配电网调度方法。
技术介绍
1、随着社会经济的快速发展，对能源的需求日益增大。而煤炭等传统能源的大量使用，不仅使其存量减少，也会造成严重的环境污染。应用新能源的分布式发电可以有效降低对传统能源的依赖，并承担部分供电压力。新能源的主要来源是风能、光伏等，在具有环保优势的同时，也存在天气变化等因素导致的发电功率不稳定等问题。区域配电网将分布式能源系统、储能系统和负荷集于一体，并与主动配电网连接形成供需平衡。常用的区域配电网调度方案有传统方法、启发式方法以及基于强化学习的方法。传统方法包括非线性规划、二次规划、牛顿法等，该类方法计算简单，但是较难处理复杂问题；启发式方法包括遗传算法、模拟退火算法、粒子群算法等，这类算法存在算法复杂、模型依赖、易陷入局部最优等问题。而基于强化学习的调度策略，模拟人类学习过程，通过与环境的不断交互来寻找最优策略，目前取得较好的应用效果。但是以上方法往往受电力系统动态性和新能源间歇性影响较大，造成调度结果与实际状况存在一定的误差。同时，由于新能源存在出力不稳定等问题，“弃风弃光”现象日益严重，因此在区域配电网调度时，不仅要考虑电价等的成本效益，还需要考虑新能源消纳问题。
技术实现思路
1、有鉴于此，本专利技术提供一种基于深度强化学习计及新能源消纳的主动配电网调度方法，构建学习模型用于实施储能设备的优化调度，减小新能源间歇性、不确定性带来的影响，实现新能源产出电量的充分、合理地消纳。
2、本专利技术实施例解决其技术问题所采用的技术方案是：
3、一种基于深度强化学习计及新能源消纳的主动配电网调度方法，包括：
4、步骤s1，根据区域配电网结构建立仿真模型，获取所述区域配电网结构中光伏出力历史数据、风力出力历史数据、村庄用电负荷历史数据以及工厂用电负荷历史数据，应用vmd数据预处理技术、pcc相关性分析算法和bilstm模型，预测出未来24小时的光伏出力预测数据、风力出力预测数据、村庄用电负荷预测数据以及工厂用电负荷预测数据，作为强化学习调度模型的训练数据集；
5、步骤s2，定义强化学习中马尔科夫决策所需的仿真模型；
6、步骤s3，采用rainbow算法，对所述步骤s2定义的仿真模型进行训练，将24小时分为24个调度时刻，应用24小时的实时预测数据反复训练，直至最终的奖励函数达到收敛；
7、步骤s4，将所述步骤s3训练好的智能体应用于区域配电网调度，在每一个调度时刻，将对应的状态空间s(t)输入rainbow算法中的q神经网络，得出当前状态空间下每一个可执行动作的q函数；通过比较每个动作的q函数选出最优动作，从而控制所述储能设备的动作策略。
8、较优地，所述步骤s1包括：
9、步骤s11，获取4种数据序列x(t)l并进行数据清洗预处理，其中l∈{1,2,3,4}，l指示数据序列的类型，数据序列的类型包括光伏数据类型、风力数据类型、村庄用电数据类型、工厂用电数据类型；
10、步骤s12，应用数据预处理技术对清洗后的数据序列x(t)l进行vmd分解，得到k个固态模式分量其中k代表vmd分解后得到的第k个固态模式分量；
11、步骤s13，步骤s13，对各所述固态模式分量进行pcc相关性分析，计算特征分量之间的相关系数，筛除相关程度低的imf分量，以及提取出k'个相关性高的imf分量；
12、步骤s14，应用所述bilstm模型对所述k'个相关性高的imf分量进行处理，提取特征并预测出预测分量
13、步骤s15，叠加得出预测数据
14、较优地，所述步骤s12包括：
15、步骤s121，针对预处理之后的数据序列x(t)l，假定每个模式具有一个中心频率的有限带宽，现在寻找k个模式，使每个模式的估计带宽之和最小，具体模型为：
16、
17、
18、式中，k为需要分解的固态模式分量个数，{uk}、{ωk}分别对应分解后第k个模式分量和中心频率，δ(t)为狄拉克函数，*为卷积运算，表示对时刻t求微分，j表示虚数单位，||||2表示二范式函数，s.t.表示约束条件；
19、步骤s122，为求解所述步骤s121提出的模型，引入惩罚因子α和拉格朗日乘法算子λ，将约束问题转化为非约束问题，得到增广拉格朗日表达式：
20、
21、通过乘法器交替方向法迭代更新参数uk、ωk和λ，更新公式为：
22、
23、
24、
25、其中和表示x(t)l、ui(t)、λ(t)和的傅立叶变换，n是迭代次数，γ为噪声容忍度；
26、步骤s123，对于给定的判断精度e>0，若满足则停止迭代，否则返回执行所述步骤s122；
27、步骤s124，迭代结束，得到k个u分量，即所述imf分量，记为
28、较优地，所述步骤s13包括：
29、步骤s131，利用皮尔逊相关系数pcc，对各所述固态模式分量进行相关性分析，以所述数据序列x(t)l为目标值，计算相关系数ri，pcc的计算公式为
30、
31、其中，imfit,l表示第i个分量，i＝1,2,…,k；cov(imfit,l,x(t)l)为imfit,l和x(t)l的协方差，ver[imfit,l]和ver[x(t)l]分别为imfit,l和x(t)l的方差；
32、步骤s132，根据所述步骤s131所得的相关性分析结果ri筛选出k'个相关性高的imf分量，k'≤k。
33、较优地，所述步骤s132根据相关性分析结果ri筛选出k'个相关性高的imf分量的筛选方式包括：
34、按照ri从高到低的顺序选取出前k'个ri所对应的imf分量。
35、较优地，所述步骤s14应用bilstm模型对所述k'个相关性高的imf分量进行处理，提取特征并得到预测分量过程中，对应t时刻的bilstm模型为：
36、输入门：
37、遗忘门：
38、记忆单元：
39、输出门：
40、隐藏状态：
41、式中，it表示输入门，ft表示遗忘门，ct表示记忆单元，ot表示输入门，ht表示隐藏状态；tanh、sigmoid表示激活函数；whi、whf、whc、who分别表示输入门、遗忘门、记忆单元、输出门的特征提取过程中ht-1的权重系数；wxi、wxf、wxc、wxo分别表示输入门、遗忘门、记忆单元、输出门的特征提取过程中的权重系数；bi、bf、bc、bo分别表示输入门、遗忘门、记忆单元、输出门的特征提取过程中的偏置值；ht-1表示前一时刻的隐藏状态；ct-1表示未更新时的记忆单元。
42、较优地，所述步骤s2包括：
43、步骤s21，定义环境状态空间s(t)，所述本文档来自技高网...
【技术保护点】
1.一种基于深度强化学习计及新能源消纳的主动配电网调度方法，其特征在于，包括：
2.如权利要求1所述的基于深度强化学习计及新能源消纳的主动配电网调度方法，其特征在于，所述步骤S1包括：
3.如权利要求2所述的基于深度强化学习计及新能源消纳的主动配电网调度方法，其特征在于，所述步骤S12包括：
4.如权利要求3所述的基于深度强化学习计及新能源消纳的主动配电网调度方法，其特征在于，所述步骤S13包括：
5.如权利要求4所述的基于深度强化学习计及新能源消纳的主动配电网调度方法，其特征在于，所述步骤S132根据相关性分析结果ri筛选出K'个相关性高的IMF分量的筛选方式包括：
6.如权利要求5所述的基于深度强化学习计及新能源消纳的主动配电网调度方法，其特征在于，所述步骤S14应用BiLSTM模型对所述K'个相关性高的IMF分量进行处理，提取特征并得到预测分量过程中，对应t时刻的BiLSTM模型为：
7.如权利要求6所述的基于深度强化学习计及新能源消纳的主动配电网调度方法，其特征在于，所述步骤S2包括：
8
9.如权利要求8所述的基于深度强化学习计及新能源消纳的主动配电网调度方法，其特征在于，所述步骤S3包括：
...【技术特征摘要】
1.一种基于深度强化学习计及新能源消纳的主动配电网调度方法，其特征在于，包括：
2.如权利要求1所述的基于深度强化学习计及新能源消纳的主动配电网调度方法，其特征在于，所述步骤s1包括：
3.如权利要求2所述的基于深度强化学习计及新能源消纳的主动配电网调度方法，其特征在于，所述步骤s12包括：
4.如权利要求3所述的基于深度强化学习计及新能源消纳的主动配电网调度方法，其特征在于，所述步骤s13包括：
5.如权利要求4所述的基于深度强化学习计及新能源消纳的主动配电网调度方法，其特征在于，所述步骤s132根据相关性分析结果ri筛选出k'个相关性高的i...
【专利技术属性】
技术研发人员：闫凯文，李武，杨慧，高奇，谢筱囡，李家辉，张大龙，田瑛，刘喆男，马振华，惠得材，马越，刘海南，刘江，段逸斐，赵彧，韩彦军，
申请(专利权)人：国网宁夏电力有限公司石嘴山供电公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。