基于深度强化学习的配电网负荷转供方法技术

本发明专利技术提供了一种基于深度强化学习的配电网负荷转供方法。该方法包括：配电网发生故障，开始负荷转供；将配电网的实时状态信息输入到智能体，计算出动作评价向量，基于动作评价向量根据动作策略选取相应的动作；智能体对配电网执行所述动作，对配电网的动作及动作后的状态进行评价,根据约束条件与目标函数计算奖励Reward，根据奖励Reward和结束规则确定Done的值，对智能体进行参数更新；依据结束标志位判断是否结束序列动作。本申请的方法利用深度强化学习来提高配电网的故障应急恢复能力与可靠性，基于深度强化学习的配电网负荷转供算法避免了故障时的大量运算与电网仿真迭代，提高了负荷转供的速度，使配电网具有更高的可靠性。

【技术实现步骤摘要】
基于深度强化学习的配电网负荷转供方法
本专利技术涉及配电网故障处理
，尤其涉及一种基于深度强化学习的配电网负荷转供方法。
技术介绍
随着我国国民经济的快速发展，尤其是第三产业的用电规模逐渐扩大，中小型用户与居民用电比例逐渐增加，电力负荷的结构出现了一些变化，配电网节点数大量增加，线路也越来越长，结构愈加复杂，故障的几率相应增大。因此配电网在发生故障后，可以通过调整网络开关的开合状态来切除线路故障，隔离故障并转移故障影响区内负荷，以减少故障影响范围，从而总体提高电网运行的经济性和安全性。目前，国内外许多学者对负荷转供提出的方法基本可以分成以下几类：启发式算法、数学优化法、专家系统法和人工智能算法。上述算法均可获得可行的转供方案输出，但均存在一定的缺陷。如基于直观或经验构造，模拟思维逻辑的启发式算法，它根据联络开关的剩余容量，失电区域的位置划分，尝试用简单的操作，试图一次提供解决方案，方案的最优性很难达到，极易陷入局部最优解，得到解的优劣非常依赖于网络的初始状态，这种方法虽然不需要太多次的潮流计算，在目前各种算法中实时性相对较本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的配电网负荷转供方法，其特征在于，包括：/n步骤1、初始化主神经网络Q(S，A，ω，α，β)和与主神经网络Q的网络结构完全一样的目标网络T(S，A，ω

【技术特征摘要】
1.一种基于深度强化学习的配电网负荷转供方法，其特征在于，包括：
步骤1、初始化主神经网络Q(S，A，ω，α，β)和与主神经网络Q的网络结构完全一样的目标网络T(S，A，ω*，α*，β*)，初始化经验经验池R、折扣因子γ、学习率Lr、目标网络更新频率Nreplace、抽样数量Nbatch，设置结束状态的标志位Done＝0，所述主神经网络Q、目标网络T和经验池构成配电网的智能体；
步骤2、配电网发生故障，开始负荷转供；
步骤3、读取配电网的实时状态信息，将配电网的实时状态信息输入到主所述智能体，所述智能体根据配电网的实时状态信息计算出每个动作的评价值；
步骤4、所述智能体基于每个动作的评价值根据动作策略选取相应的动作；
步骤5、智能体对配电网执行所述动作，得到动作后配电网的状态S′，对配电网的动作及动作后的状态进行评价,根据约束条件与目标函数计算奖励Reward，根据奖励Reward和结束规则确定Done的值，完成一次配电网开关动作后，将本次配电网开关动作作为经验样本e＝(s，a，r，s′)存储在经验池R中；
步骤6、从经验池R中随机采样所述抽样数量Nbatch个经验样本，根据采样的经验样本利用所述折扣因子γ计算目标值，基于所述目标值和学习率Lr通过最小化损失函数对主神经网络Q(S，A，ω，α，β)中的参数ω，α，β进行更新；
步骤7、当主神经网络经过Nreplace次更新后，使用主神经网络Q的参数ω，α，β对目标网络T的参数ω*，α*，β*进行更新：
步骤8、依据结束标志位Done判断是否结束序列动作，Done＝0，返回步骤4；Done＝1，退出循环，本次配电网的负荷转供过程处理结束。


2.根据权利要求1所述的方法，其特征在于，所述的步骤1还包括：
定义配电网负荷转供操作中的系统状态空间、动作空间以及奖励函数，智能体与配电网环境交互由数组[S，A，P(s，s′)，R(s，a)，Done]表示，其中S表示配电网可能的状态所构成的状态空间，A表示可能的动作集合，P(s，s′)表示从配电网状态s转移到s′的转移概率，R(s，a)是在状态s时采取了a动作，触发了相关的奖励，其被反馈给智能体，Done为结束状态的标志位，智能体主动选择终止本次决策或由于违反约束条件而被环境终止继续操作时，Done被设置为1，正常决策步骤时，Done保持为0；
状态空间被定义为一个数组S＝[V，I，SW，F]，V是电压向量组，其用来表示配电网中各个节点处所有相位的电压值，Vin为第i个节点的第n个相位的电压值；I为电流向量组，其用来表示配电网中所有线路中各个相位的电流值，Iin为第i条线路的第n个相位的电流值；SW为配电网中所有开关的状态值向量，SWi为第i个开关的状态，为0表示打开，为1表示闭合；F为表示配电网线路故障状态的向量，Fi为编号为i的线路的故障状态，0表示正常，1表示发生故障。


3.根据权利要求1所述的方法，其特征在于，所述的步骤1还包括：
所述智能体采用Dueling-DQN算法，所述Dueling-DQN算法利用深度神经网络进行计算，所述用深度神经网络包括主神经网络Q和目标网络T，所述主神经网络Q和目标网络T包括：公共隐藏层、价值函数V和优势函数B；
价值函数V与优势函数B的公共隐藏层采用了2层神经网络，用来提取输入状态量的特征，第一层有30*Nfeature个神经元，其中Nfeature为输入状态量的个数，所有神经元直接接受状态数据的全连接输入，并添加了偏置bias，激活函数为Relu函数；第二层与第一层进行全连接，也有30*Nfeature个神经元；
所述智能体采用Dueling-DQN算法对所述主神经网络Q和目标网络T的输出结果进行计算，计算出每个动作的的评价值。


4.根据权利要求1所述的方法，其特征在于，所述的步骤3中的读取配电网的实时状态信息，将配电网的实时状态信息输入到主所述智能体，所述智能体根据配电网的实时状态信息计算出每个动作的评价值，包括：
所述主神经网络Q和目标网络T中的价值函数V与状态S有关，与动作A无关，其为一个标量，记做V(S，ω，α),优势函数B同时与状态状态S和动作A有关，其为长度为动作数量的一个向量，记为B(S，A，w，β),智能体的价值函数表示为：
Q(s，A，ω，α，β)＝V(S，ω，...

【专利技术属性】
技术研发人员：张沛，宋秉睿，李家腾，吕晓茜，孟祥飞，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：北京;11