本发明专利技术公开了一种基于双层深度强化学习的配电网电压控制方法及系统，涉及配电网电压控制技术领域。该方法包括步骤：获取日前预测的配电网各区域充电站的电力数据；利用电动汽车有序充电模型对电力数据和初始充电电价进行处理，得到实时分时电价和各区域有序充电负荷；根据实时分时电价和各区域有序充电负荷曲线建立基于近端策略优化的上层强化学习智能体和下层强化学习智能体；利用上层强化学习智能体和下层强化学习智能体对双层协同优化控制模型进行训练，根据训练好的双层协同优化控制模型得到配电网电压实时控制策略。本发明专利技术基于日前优化实时控制和双层深度强化学习实现多时间尺度的协同与耦合，有利于构建更加安全可靠的配电系统。
【技术实现步骤摘要】
本专利技术涉及配电网电压控制，尤其涉及一种基于双层深度强化学习的配电网电压控制方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
2、分布式光伏的规模化并网是实现能源结构优化和新型电力系统建设的重要途径。随着光伏并网技术的不断发展和市场需求的不断增加，配电网中光伏并网容量迅速增加，高渗透率光伏的接入也使电压越限问题愈来愈严重，制约了分布式光伏的就地消纳。同时，由于在节能减排、低碳环保等方面的优势，电动汽车得到了世界各国的广泛关注，并随着电池设备、充电技术及相关配套设施的不断完善，电动汽车的普及率也逐渐升高。电动汽车充电负荷受用户需求、用户习惯和设备特性等多种因素影响具有复杂特性，在空间和时间上不确定性强。大量充电负荷无序接入配电网时会造成系统负荷峰谷差增加、电能质量降低、系统网损增加、电力资源浪费等负面影响，不利于电力系统的安全稳定运行，对电力系统的运行和控制提出更高要求。因此，通过对电动汽车充电负荷进行有效引导，与光伏逆变器、无功补偿装置等设备进行协同控制为解决以上配电网电压控制等问题提供了新的思路和方案。
3、通过制定分时电价和调节实时电价能够在较长时间尺度实现充电负荷转移和改变，减小配电网日内峰谷差，充分利用可再生能源出力；在较短时间尺度可以通过快速调整光伏逆变器或无功补偿装置进行电压控制，长、短两个时间尺度的协同控制能够在实现配电网安全运行的同时充分利用可再生能源，有利于配电网安全稳定运行，但多时间尺度协同控制问题也将成为未来研究的热点问题。</p>4、多时间尺度协同是电压控制研究中的重点问题。目前，已有学者对多时间尺度电压控制问题进行了一定的研究和总结，但大多对长短时间尺度的研究中，一般将不同时间尺度的控制进行解耦优化，一般先优化长时间尺度控制问题，得到控制策略或控制结果后将其作为输入信息或已知条件再对短时间尺度问题进行优化，这种方法没有充分考虑两个时间尺度间的相互影响和耦合关系。且在大多数研究中，并未考虑将电动汽车作为长时间尺度可控资源与短时间尺度可控资源进行协同控制。在实际运行过程中，电动汽车充电负荷的变化会引起系统状态的变化，短时间尺度可控设备能够对系统运行状态进行不断快速的调节，同时，通过调整短时间尺度可控设备系统的运行状态也随之改变，从而影响引导电动汽车充电负荷的实时电价调整策略。因此，现有技术并未全面考虑配电网多时间尺度协同电压控制的问题。
技术实现思路
1、针对现有技术存在的不足，本专利技术的目的是提供一种基于双层深度强化学习的配电网电压控制方法及系统，基于日前优化实时控制和双层深度强化学习实现多时间尺度的协同与耦合，有利于构建更加安全可靠的配电系统。
2、为了实现上述目的，本专利技术是通过如下的技术方案来实现：
3、本专利技术第一方面提供了一种基于双层深度强化学习的配电网电压控制方法，包括以下步骤：
4、获取日前预测的配电网各区域充电站的电力数据，并设置初始充电电价；
5、利用电动汽车有序充电模型对电力数据和初始充电电价进行处理，得到实时分时电价和各区域有序充电负荷曲线，其中，电动汽车有序充电模型基于分时电价需求构建；
6、根据实时分时电价和各区域有序充电负荷曲线建立基于近端策略优化的上层强化学习智能体和下层强化学习智能体；
7、建立双层协同优化控制模型，利用上层强化学习智能体和下层强化学习智能体对双层协同优化控制模型进行训练，根据训练好的双层协同优化控制模型得到配电网电压实时控制策略。
8、进一步的，电力数据包括电动汽车无序充电负荷数据、各区域负荷数据、光伏预测出力数据、光伏逆变器容量和无功补偿装置容量。
9、进一步的，电动汽车有序充电模型构建的具体步骤为：
10、考虑需求价格弹性系数表征用电需求与电价改变率的关系，建立基于分时电价的市场导向型需求侧响应模型；
11、以市场导向型需求侧响应模型为引导，考虑基于二阶锥规划的约束，建立日前电动汽车有序充电模型。
12、更进一步的，二阶锥规划的约束包括配电网潮流约束、充电费用与收益约束、配电网安全运行约束、逆变器和无功补偿装置运行约束和分时电价约束。
13、进一步的，电动汽车有序充电模型以配电网网损最小为目标。
14、进一步的，建立基于近端策略优化的上层强化学习智能体和下层强化学习智能体的具体步骤包括：
15、对于上层强化学习智能体，构建基于实时电价的长时间尺度控制问题，并构造智能体的状态空间、动作空间和奖励空间；
16、对于下层强化学习智能体，构建基于光伏逆变器和无功补偿装置的短时间尺度控制问题，并构造智能体的状态空间、动作空间和奖励空间。
17、更进一步的，利用上层强化学习智能体和下层强化学习智能体对双层协同优化控制模型进行训练的具体步骤包括：
18、将上层智能体的动作空间、奖励空间与下层智能体的动作空间、奖励空间耦合，
19、训练过程中考虑上下层智能体的信息交换，以控制周期内电压偏差最小为目标函数进行协同优化。
20、本专利技术第二方面提供了一种基于双层深度强化学习的配电网电压控制系统，包括：
21、数据获取模块，被配置为获取日前预测的配电网各区域充电站的电力数据，并设置初始充电电价；
22、有序充电模块，被配置为利用电动汽车有序充电模型对电力数据和初始充电电价进行处理，得到实时分时电价和各区域有序充电负荷曲线，其中，电动汽车有序充电模型基于分时电价需求构建；
23、双层智能体构建模块，被配置为根据实时分时电价和各区域有序充电负荷曲线建立基于近端策略优化的上层强化学习智能体和下层强化学习智能体；
24、协同优化模块，被配置为建立双层协同优化控制模型，利用上层强化学习智能体和下层强化学习智能体对双层协同优化控制模型进行训练，根据训练好的双层协同优化控制模型得到配电网电压实时控制策略。
25、本专利技术第三方面提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本专利技术第一方面所述的基于双层深度强化学习的配电网电压控制方法中的步骤。
26、本专利技术第四方面提供了一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本专利技术第一方面所述的基于双层深度强化学习的配电网电压控制方法中的步骤。
27、以上一个或多个技术方案存在以下有益效果：
28、本专利技术公开了一种基于双层深度强化学习的配电网电压控制方法及系统，充分考虑电压控制问题中多时间尺度间的相互影响和耦合关系，将电动汽车充电负荷作为长时间尺度可控资源与光伏逆变器、无功补偿装置等短时间尺度可控资源进行协同优化。考虑了日前分时电价对电动汽车充电负荷的引导作用，通过充电负荷转移实现电动汽车的有序充电以降低配电网有功损耗，同时实现可再生能源的充分利用。日内实时运行时，考虑了不同时本文档来自技高网
...
【技术保护点】
1.一种基于双层深度强化学习的配电网电压控制方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于双层深度强化学习的配电网电压控制方法，其特征在于，电力数据包括电动汽车无序充电负荷数据、各区域负荷数据、光伏预测出力数据、光伏逆变器容量和无功补偿装置容量。
3.如权利要求1所述的基于双层深度强化学习的配电网电压控制方法，其特征在于，电动汽车有序充电模型构建的具体步骤为：
4.如权利要求3所述的基于双层深度强化学习的配电网电压控制方法，其特征在于，二阶锥规划的约束包括配电网潮流约束、充电费用与收益约束、配电网安全运行约束、逆变器和无功补偿装置运行约束和分时电价约束。
5.如权利要求1所述的基于双层深度强化学习的配电网电压控制方法，其特征在于，电动汽车有序充电模型以配电网网损最小为目标。
6.如权利要求1所述的基于双层深度强化学习的配电网电压控制方法，其特征在于，建立基于近端策略优化的上层强化学习智能体和下层强化学习智能体的具体步骤包括：
7.如权利要求6所述的基于双层深度强化学习的配电网电压控制方法，其特征在于，利用上层强化学习智能体和下层强化学习智能体对双层协同优化控制模型进行训练的具体步骤包括：
8.一种基于双层深度强化学习的配电网电压控制系统，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-7中任一项所述的基于双层深度强化学习的配电网电压控制方法。
10.一种终端设备，其特征在于，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-7中任一项所述的基于双层深度强化学习的配电网电压控制方法。
...
【技术特征摘要】
1.一种基于双层深度强化学习的配电网电压控制方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于双层深度强化学习的配电网电压控制方法，其特征在于，电力数据包括电动汽车无序充电负荷数据、各区域负荷数据、光伏预测出力数据、光伏逆变器容量和无功补偿装置容量。
3.如权利要求1所述的基于双层深度强化学习的配电网电压控制方法，其特征在于，电动汽车有序充电模型构建的具体步骤为：
4.如权利要求3所述的基于双层深度强化学习的配电网电压控制方法，其特征在于，二阶锥规划的约束包括配电网潮流约束、充电费用与收益约束、配电网安全运行约束、逆变器和无功补偿装置运行约束和分时电价约束。
5.如权利要求1所述的基于双层深度强化学习的配电网电压控制方法，其特征在于，电动汽车有序充电模型以配电网网损最小为目标。
6.如权利要求1所述的基于双层深度强化...
【专利技术属性】
技术研发人员：陈健，祁向龙，赵浩然，张文，刘杰，刘景余，
申请(专利权)人：山东大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。