基于分支双重深度Q网络的配网实时动态重构方法及系统技术方案

本公开提出了基于分支双重深度Q网络的配网实时动态重构方法及系统，重构方法，包括如下过程：获取配电网实时节点负荷和分布式电源出力；将获取的数据传输至基于马尔可夫决策过程MDP构建的动态DNR模型；所述动态DNR模型以最小化网损成本和开关动作成本为目标函数；基于配电网环路分解得到分支双重深度Q网络，采用Q学习算法对动态DNR模型进行求解，获得使得分支双重深度Q网络输出回报最大的开关动作集合，根据开关动作集合更新配电网的拓扑结构。本公开通过挖掘动态DNR决策变量和决策结果之间的时序动态变化规律，在线应用时无需进行潮流建模和分段决策，且不依赖日前的负荷和分布式电源出力预测，能够大大提高配电网的运行性能。能。能。

【技术实现步骤摘要】
基于分支双重深度Q网络的配网实时动态重构方法及系统


[0001]本公开涉及配电网重构相关
，具体的说，是涉及基于分支双重深度Q网络的配网实时动态重构方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，并不必然构成在先技术。
[0003]配电网重构(Distribution Network Reconfiguration，DNR)是配电管理系统中的一项重要功能，其目的通常包含最小化网损，提升电能质量及供电可靠度。DNR可以分为两类：静态重构和动态重构，动态重构可以确保配电网安全、高质量和经济性的运行，与静态重构相比，其更符合配电网(Distribution Network，DN)实际运行调度的需求。
[0004]基于长短期记忆(Long
‑
short term memory,LSTM)网络模型和开关动作函数的动态重构算法能够有效的解决动态配电网重构(Distribution network reconfiguration,DNR)问题，但是该方法需要分为两步才能解决动态重构问题，且在执行算法时需要进行潮流计算，而部分低感知度配网的实时潮流建模往往难度较大。

技术实现思路

[0005]本公开为了解决上述问题，提出了基于分支双重深度Q网络的配网实时动态重构方法及系统，挖掘动态DNR决策变量和决策结果之间的时序动态变化规律，在线应用时无需进行潮流建模和分段决策，且不依赖日前的负荷和分布式电源出力预测，能够大大提高配电网的运行性能。r/>[0006]为了实现上述目的，本公开采用如下技术方案：
[0007]一个或多个实施例提供了基于分支双重深度Q网络的配网实时动态重构方法，包括如下过程：
[0008]获取配电网实时节点负荷和分布式电源出力；
[0009]将获取的数据传输至基于马尔可夫决策过程MDP构建的动态DNR模型；所述动态DNR模型以最小化网损成本和开关动作成本为目标函数；
[0010]基于配电网环路分解得到分支双重深度Q网络，采用Q学习算法对动态DNR模型进行求解，获得使得分支双重深度Q网络输出回报最大的开关动作集合，根据开关动作集合更新配电网的拓扑结构。
[0011]一个或多个实施例提供了基于分支双重深度Q网络的配网实时动态重构系统，包括：
[0012]获取模块：被配置为用于获取配电网实时节点负荷和分布式电源出力；
[0013]马尔可夫决策构建模块：被配置为用于将获取的数据传输至基于马尔可夫决策过程MDP构建的动态DNR模型；所述动态DNR模型以最小化网损成本和开关动作成本为目标函数；
[0014]配电网动态重构模块：被配置为用于基于配电网环路分解得到分支双重深度Q网络，采用Q学习算法对动态DNR模型进行求解，获得使得分支双重深度Q网络输出回报最大的开关动作集合，根据开关动作集合更新配电网的拓扑结构。
[0015]一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。
[0016]与现有技术相比，本公开的有益效果为：
[0017]本公开基于配电网的环路分解，改进Q学习算法网络结构，得到了分支双重深度Q网络(Branch double deep Q network,BDDQN)的深度强化学习算法以实现动态DNR模型的求解。BDDQN算法可以通过迭代的方式，寻求配网马尔科夫动态重构模型的最优决策，并且执行过程不需要进行潮流计算，通过BDDQN给出的动态重构解则能够产生更少的运行成本，大大提升系统运行的性能。
[0018]本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
[0019]构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。
[0020]图1是本公开实施例1的重构方法的流程图；
[0021]图2是本公开实施例1的配电网马尔可夫动态重构决策框架图；
[0022]图3是本公开实施例1的改进前的双重深度Q网络；
[0023]图4是本公开实施例1的基于配电网环路改进得到的分支双重深度Q网络；
[0024]图5(a)是本公开实施例1的算例分析中IEEE 33节点系统仿真测试集的节点负荷数据；
[0025]图5(b)是本公开实施例1的算例分析中IEEE 33节点系统仿真测试集的DG出力序列数据；
[0026]图6是本公开实施例1的算例分析中IEEE 33节点系统仿真结果对比；
[0027]图7(a)是本公开实施例1的IEEE 33节点系统仿真中本实施例的BDDQN算法与静态重构算法重构后综合运行成本比较图；
[0028]图7(b)是本公开实施例1的IEEE 33节点系统仿真中本实施例的BDDQN算法与静态重构算法产生的网损比较图；
[0029]图7(c)是本公开实施例1的IEEE 33节点系统仿真中本实施例的BDDQN算法与静态重构算法重构后最低节点电压比较图；
[0030]图8(a)是本公开实施例1的算例分析中185节点系统仿真测试集的节点负荷数据；
[0031]图8(b)是本公开实施例1的算例分析中185节点系统仿真测试集的DG出力序列数据；
[0032]图9(a)是本公开实施例1的185节点系统仿真中本实施例的BDDQN算法与静态重构算法重构后综合运行成本比较图；
[0033]图9(b)是本公开实施例1的185节点系统仿真中本实施例的BDDQN算法与静态重构算法产生的网损比较图；
[0034]图9(c)是本公开实施例1的185节点系统仿真中本实施例的BDDQN算法与静态重构算法重构后开关动作次数比较图。
具体实施方式：
[0035]下面结合附图与实施例对本公开作进一步说明。
[0036]应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本实施例使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。
[0037]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
[0038]本公开首先在配网动态重构的数学模型的基础上，结合马尔可夫决策过程，建立了以最小化网损成本和开关动作成本的配网马尔可夫动态重构决策过程。然后针对配网“多环网结构、辐射状运行”的特点，对传统双重深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于分支双重深度Q网络的配网实时动态重构方法，其特征是，包括如下过程：获取配电网实时节点负荷和分布式电源出力；将获取的数据传输至基于马尔可夫决策过程MDP构建的动态DNR模型；所述动态DNR模型以最小化网损成本和开关动作成本为目标函数；基于配电网环路分解改进得到分支双重深度Q网络，采用Q学习算法对动态DNR模型进行求解，获得使得分支双重深度Q网络输出回报最大的开关动作集合，根据开关动作集合更新配电网的拓扑结构。2.如权利要求1所述的基于分支双重深度Q网络的配网实时动态重构方法，其特征是：基于马尔可夫决策过程构建动态DNR模型，具体为：将节点负荷和分布式电源出力整合为节点注入功率，将节点注入功率和断开的开关的集合作为马尔可夫决策过程的状态集合。3.如权利要求1所述的基于分支双重深度Q网络的配网实时动态重构方法，其特征是：基于马尔可夫决策过程构建动态DNR模型，具体为：设置配电网运行成本的倒数为马尔可夫决策过程的即时回报，所述即时回报还包括惩罚项，所述惩罚项用于惩罚不符合系统安全约束的开关动作策略。4.如权利要求1所述的基于分支双重深度Q网络的配网实时动态重构方法，其特征是：基于配电网环路分解，得到的分支双重深度Q网络的结构为：以配电网中的环路数作为Q学习算法网络的输出维度，每一维度输出向量的维度为所属环路的开关数量。5.如权利要求4所述的基于分支双重深度Q网络的配网实时动态重构方法，其特征是：采用贪婪选择策略选择Q学习算法网络的输出维度中回报最大的开关，作为决策动作开关。6.如权利要求4所述的基于分支双重深度Q网络的配网实时动态重构方法，其特征是：还包括对分支双重深度Q网络训练的步骤，包括如下：获取配电网的历史运行数据，以及配电网的网络结构参数，构建训练集；初始化分支双重深度Q网络的结构和参数，生成初始经验池，开始算法迭代；初始化状态向量，从经验池中采集样本并输入至分支双重深度Q网...

【专利技术属性】
技术研发人员：张玉敏，吉兴全，尹孜阳，张旋，于一潇，杨子震，刘志强，朱应业，赵国航，刘小虎，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：