基于图卷积神经网络与强化学习的负荷转供方法及装置制造方法及图纸

本发明专利技术涉及一种基于图卷积神经网络与强化学习的负荷转供方法及装置，包括：基于图卷积神经网络和深度强化学习Dueling

【技术实现步骤摘要】
基于图卷积神经网络与强化学习的负荷转供方法及装置


[0001]本专利技术属于配电网的
，尤其是一种基于图卷积神经网络与强化学习的负荷转 供方法及装置。

技术介绍

[0002]国民经济的不断发展带来了各行各业对用电需求的大幅增长，但城市电网建设相比于 经济发展相对滞后，因此对配电网供电可靠性的要求越来越高，配电网中可操作开关数量 多，线路发生故障时可选择的负荷转供路径，即开关操作组合数量庞大。目前大多数配电 公司仍主要采用人工经验决策方法，难以兼顾负荷转供决策的快速性与经济性，因此寻求 一种可以在短时间内求解负荷转供决策的方法十分必要。
[0003]目前，针对负荷转供提出了多种方法，根据决策求解方式的不同可以分成以下几类： 启发式算法、专家系统法、数学优化法、人工智能算法；
[0004]其中，启发式算法依据直观经验制定负荷转供规则，在规则约束之下进行探索求解， 启发式算法的优点在于能够快速求解出一种规则之下可以被接受的可行解，但是启发式算 法对先验知识的依赖性强，求解效果受配电网当下状态影响较大，且无法保证求解方案的 最优性；
[0005]其中，专家系统法依据过往运行经验，建立负荷转供知识库，发生故障时通过推理引 擎对先验知识的推导得出最终决策，专家系统法的优点是能够快速获得可行的方案，建立 好的知识库适用性较好，但是建立一个大型且完备的知识库十分困难，难以保证知识库能 够囊括配电网所有故障情形，因此，专家系统法同样不能保证解的最优性；
[0006]其中，数学优化法是将配电网负荷转供描述为多目标优化问题，设置目标函数与约束 条件，通过数学规划求解方法得出方案，数学优化法的优点是模型明确，求解逻辑清晰， 可以得到最优解或近似最优解，缺点是随着网络规模的增大、网络结构越来越复杂、网络 中可操作开关数量的剧增，数学优化法的计算代价较高，难以满足负荷转供决策的实时性 要求。
[0007]现有技术中还提出的一种基于深度强化学习的配电网负荷转供方法，这种方法采用深 度强化学习的算法，在发生故障时直接通过分析实时运行数据作为输入进行负荷转供决 策，以较快的速度生成负荷转供方案，能够满足配电网负荷转供的实时性要求，但是这种 算法仅将节点电压、支路电流等电气信息作为决策变量，并将所有类型决策变量整合为一 维数据信息，作为一个整体输入神经网络，无法体现实时电气信息在配电网拓扑上的实际 分布，生成的负荷转供方案在经济性与负荷转供率方面有待提高。
[0008]综上所述，现有的算法大多在故障发生后进行临时仿真计算分析，很少使用配网运行 实时信息大数据，消耗时间较长；或者采取简化仿真过程的方法以加快计算速度，但很难 兼顾配网运行的安全性与经济性；或者采取人工智能方法利用实时电气信息直接进行在线 决策，但仅利用一维的电气运行信息进行决策，脱离实际电网结构，很难保证负荷转供的 经济性与负荷转供率。

技术实现思路

[0009]本专利技术的目的在于克服现有技术的不足，提供了一种能够获得配电网实时信息并基于 图卷积神经网络与强化学习进行负荷转供的方法及装置，能够在短时间内给出经济型与快 速性最佳的控制策略，从而实现配网失电负荷的恢复。
[0010]本专利技术解决其技术问题是采取以下技术方案实现的：
[0011]一方面，本专利技术提供了一种基于图卷积神经网络与强化学习的负荷转供方法，具体步 骤如下：
[0012]步骤1：基于配电网实时运行数据的参数构建配电网环境，基于图卷积神经网络和深 度强化学习Dueling
‑
DQN算法搭建结构相同的第一神经网络Q和第二神经网络T，基于第 一神经网络Q、第二神经网络T和经验池R构建智能体模型，所述配电网环境和智能体模 型的数据参数交互，初始化所述智能体模型的参数；
[0013]步骤2：判定配电网是否发生故障，若发生故障，基于配电网环境和智能体模型的数 据参数交互，开始负荷转供；
[0014]步骤3：获取配电网实时运行数据的参数作为所述智能体模型的输入数据；
[0015]步骤4：利用智能体模型对输入的配电网实时运行数据的参数数据进行读取，通过所 述第一神经网络Q计算出每个动作的评价值；
[0016]步骤5：利用所述智能体模型基于计算出每个动作的评价值并选取相应的动作；
[0017]步骤6：配电网环境执行所述智能体模型基于计算出每个动作的评价值选取相应的动 作，当完成一次配电网开关动作后，将本次动作的作为样本存储在所述经验池R中；
[0018]步骤7：从经验池R中随机采样N
batch
个经验样本计算目标值，基于预设的参数，通 过最小化损失函数对第一神经网络中的参数进行更新；
[0019]步骤8：每当第一神经网络Q经过N
replace
次更新时，使用第一神经网络Q的参数对 第二神经网络T的参数进行更新；
[0020]步骤9：配电网环境依据结束条件对本次负荷转供决策是否结束序列动作进行判断， 若未结束，返回步骤4；
[0021]若结束，退出循环，本次配电网的负荷转供过程处理结束；
[0022]优选地，所述步骤4中所述配电网实时运行数据的参数包括配电网的实时状态信息S 与当前配电网拓扑结构G，所述配电网的实时状态信息S包括节点特征数据和边特征数据，
[0023]所述第一神经网络Q计算出每个动作的评价值，包括：
[0024]所述第一神经网络Q和第二神经网络T包括有输入层、隐藏层和输出层，所述输入层 和隐藏层采用图卷积神经网络中GraphSAGE模型，所述输出层采用强化学习神经网络中 的DuelingDQN算法模型，
[0025]所述第一神经网络Q的输入层用于接受所述获取配电网的实时状态信息S与当前配电 网拓扑结构G的原始图特征向量，并将节点邻居之间的所有边的特征数据转换并合并至节 点特征向量，处理后输出至所述隐藏层，通过以下方法实现节点邻居之间的所有边的特征 数据转换并合并至节点特征向量，具体步骤如下：
[0026]步骤31：根据边的特征向量维度，为每条边构造一个单层全连接神经网络，并添加偏 置；
[0027]步骤32：将每条边的边特征数据输入与该边相对应的神经网络中，得到同样维度的输 出值；
[0028]步骤33：将所有边的神经网络输出向量求和，得到同样维度的和向量；
[0029]步骤34：将节点向量与边求和向量通过集中操作合并为新的节点向量作为输出。
[0030]优选地，所述隐藏层中采用基于空域卷积Spatial GCN结构搭建的多层图卷积神经网 络GraphSAGE模型，所述输入层转换合并新的的节点特征向量在所述多层图卷积神经网 络GraphSAGE模型中逐层对传递提取出局部的抽象特征进行聚合计算，公式如下：
[0031][0032][0033]其中，v
i
为节点，l为层，N(v
i
)为邻居节点集合，为第l层中节点v
j
的节点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图卷积神经网络与强化学习的负荷转供方法，其特征在于：具体步骤如下：步骤1：基于配电网实时运行数据的参数构建配电网环境，基于图卷积神经网络和深度强化学习Dueling
‑
DQN算法搭建结构相同的第一神经网络Q和第二神经网络T，基于第一神经网络Q、第二神经网络T和经验池R构建智能体模型，所述配电网环境和智能体模型的数据参数交互，初始化所述智能体模型的参数；步骤2：判定配电网是否发生故障，若发生故障，基于配电网环境和智能体模型的数据参数交互，开始负荷转供。2.根据权利要求1所述的基于图卷积神经网络与强化学习的负荷转供方法，其特征在于：所述开始负荷转供的步骤之后，所述方法包括：步骤3：获取配电网实时运行数据作为所述智能体模型的输入数据；步骤4：利用智能体模型对输入的配电网实时运行数据进行读取，通过所述第一神经网络Q计算出每个动作的评价值；步骤5：利用所述智能体模型基于计算出每个动作的评价值并选取相应的动作；步骤6：配电网环境执行所述智能体模型基于计算出每个动作的评价值选取相应的动作，当完成一次配电网开关动作后，将本次动作的作为样本存储在所述经验池R中；步骤7：当经验池中存储到一定数量的样本时，从经验池R中随机采样N
batch
个经验样本计算目标值，基于预设的参数，通过最小化损失函数对第一神经网络中的参数进行更新；步骤8：每当第一神经网络Q经过N
replace
次更新时，使用第一神经网络Q的参数对第二神经网络T的参数进行更新；步骤9：配电网环境依据结束条件对本次负荷转供决策是否结束序列动作进行判断，若未结束，返回步骤4；若结束，退出循环，本次配电网的负荷转供过程处理结束。3.根据权利要求2所述的基于图卷积神经网络与强化学习的负荷转供方法，其特征在于：所述步骤4中所述配电网实时运行数据的参数包括配电网的实时状态信息S与当前配电网拓扑结构G，所述配电网的实时状态信息S包括节点特征数据和边特征数据，所述第一神经网络Q计算出每个动作的评价值，包括：所述第一神经网络Q和第二神经网络T包括有输入层、隐藏层和输出层，所述输入层和隐藏层采用图卷积神经网络中GraphSAGE模型，所述输出层采用强化学习神经网络中的Dueling DQN算法模型，所述第一神经网络Q的输入层用于接受所述获取配电网的实时状态信息S与当前配电网拓扑结构G的原始图特征向量，并将节点邻居之间的所有边的特征数据转换并合并至节点特征向量，处理后输出至所述隐藏层，通过以下方法实现节点邻居之间的所有边的特征数据转换并合并至节点特征向量，具体步骤如下：步骤31：根据边的特征向量维度，为每条边构造一个单层全连接神经网络，并添加偏置；步骤32：将每条边的边特征数据输入与该边相对应的神经网络中，得到同样维度的输出值；步骤33：将所有边的神经网络输出向量求和，得到同样维度的和向量；步骤34：将节点向量与边求和向量通过集中操作合并为新的节点向量作为输出。
4.根据权利要求3所述的基于图卷积神经网络与强化学习的负荷转供方法，其特征在于：所述隐藏层中采用基于空域卷积Spatial GCN结构搭建的多层图卷积神经网络GraphSAGE模型，所述输入层转换合并新的节点特征向量在所述多层图卷积神经网络GraphSAGE模型中逐层对传递提取出局部的抽象特征进行聚合计算，公式如下：GraphSAGE模型中逐层对传递提取出局部的抽象特征进行聚合计算，公式如下：其中，v
i
为节点，l为层，N(v
i
)为邻居节点集合，为第l层中节点v
j
的节点特征向量，aggregate
l+1
(
·
)为第l+1层的可学习的聚合函数，为对节点v
i
的邻居聚合后的结果向量，concat(
·
)为拼接函数，即将两个向量在其原本维度上横向拼接，W为可学习的权重参数矩阵，σ(
·
)为Relu激活函数，所述可学习的聚合函数aggregate
1+1
(
·
)采用池化聚合操作来做聚合，取邻居节点通过全连接层的最大值作为聚合结果，其计算公式如下：5.根据权利要求3所述的基于图卷积神经网络与强化学习的负荷转供方法，其特征在于：利用所述Dueling DQN算法模型使用深度神经网络对获得Q
‑
learning中所有动作的评价值，其深度神经网络部分具备对动作进行评价以及训练学习的能力。6.根据权利要求5所述的基于图卷积神经网络与强化学习的负荷转供方法，其特征在于：所述Dueling DQN算法模型输出层包括公共部分、价值函数部分、优势函数部分和组合函数部分，所述公共部分有两层全连接神经网络构成将所述第一神经网络Q和第二神经网络T分为价值函数和优势函数两部分，所述第一神经网络Q的价值函数部分为一个标量，记做V(S，ω，α)，所述第一神经网络Q的优势函数部分为动作数量的一个向量，记做A(S，A，w，β)，通过对所述第一神经网络Q由值函数和优势函数两部分输出线性组合后，得到所述第一神经网络Q每个动作的评价值，具体公式为：Q(S，A，ω，α，β)＝V(S，ω，α)+A(S，A，ω，β)其中，ω是公共部分的网络参数，而α是价值函数独有部分的网络参数，而β是优势函数独有部分的网络参数，A为动作，S为状态；所述第一神经网络Q每个动作的评价值做了中心化的处理，获取实际使用的所述第一神经网络Q每个动作的评价值组合公式如下：其中表示所有动作的集合，即求该集合中元素的个数，式子右侧用原向量A全部减去了向量的元素平均值，得到新的优势函数A，使用上式计算得到的Q(S，A，ω，α，β)为一个长度为动作数的向量，其中的每个元素代表该状态S下每个动作的评价值。7.根据权利要求2所述的基于图卷积神经网络与强化学习的负荷转供方法，其特征在于：所述步骤1中基于配电网实时运行数据的参数构建配电网环境包括配电网负荷转供操作中的系统状态空间、动作空间、状态转移概率以及奖励函数，所述配电网环境和智能体模
型的数据参数交互由数组[S，A，P(a，s，s
′
)，R(s，a)，Done]表示，其中S表示配电网可能的状态所构成的状态空间，A表示可能采取的有限动作集合，P(a，s，s
′
)表示在s状态下采取动作a状态由s转移到s
′
的转移概率，R(s，a)是在状态s时采取了a动作，获得的及时奖励，其被反馈给智能体模型，Done为结束状态的标志位，智能体模型主动选择终止本次决策或由于违反约束条件而被环境终止继续操作时，Done被设置为1，正常决策步骤时，Done保持为0，所述状态空间被定义为一个集合S＝[G，V，I，SW，F]，G表示当前配电网络拓扑结构，V是电压向量组，其用来表示配电网中各个节点处...

【专利技术属性】
技术研发人员：王光华，李晓影，崔蒙，张沛，陈玉鑫，宋秉睿，张雷，蔡桂华，赵鹏，高龙，高岩，管敏丽，胡文丽，
申请(专利权)人：天津相和电气科技有限公司国家电网有限公司，
类型：发明
国别省市：