【技术实现步骤摘要】
一种综合性电网安全优化调度方法、装置、存储介质
[0001]本专利技术属于深度强化学习
，涉及一种综合性电网安全优化调度方法，尤其是一种基于迁移学习和深度
Q
网络算法的综合性电网安全优化调度方法
、
装置
、
存储介质
。
技术介绍
[0002]由于高比例新能源
、
智能电力电子设备等广泛接入电网，我国电网运行特征中的随机性
、
动态性
、
波动性和复杂性显著增强
。
间歇性可再生能源
(
如风能和太阳能
)
的日益一体化和需求侧的主动响应使得当今电网的安全稳定运行条件更加多变，难以预测
。
在某些突发危险故障发生时，如果没有及时
、
有效的电网监测和调控手段，局部扰动可能会扩散，从而导致连锁故障，甚至大停电，如
2019
年7月的美国纽约曼哈顿大停电
、2020
年8月的加州大停电和
2021
年2月的美国得克萨斯州大规模停电等事故
。
因此，及时评估电力系统的安全水平，建立电网动态安全评估模型和实时自主决策智能体是必要的
。
[0003]目前，深度强化学习
(deep reinforcement learning
，
DRL)
技术发展迅速，在自动驾驶
、
工业自动化
、
医疗保健<...
【技术保护点】
【技术特征摘要】
1.
一种综合性电网安全优化调度方法，其特征在于：包括以下步骤：步骤
1、
初步定义该基于迁移学习的动态安全评估方案中的变量和参数；步骤
2、
根据步骤1初步定义的变量和参数构建基于迁移学习的动态安全评估方案总体架构；步骤
3、
建立并更新深度
Q
网络
DQN
智能体；步骤
4、
结合步骤2所构建的基于迁移学习
TL
的动态安全评估方案总体架构和步骤3建立的深度
Q
网络
DQN
智能体，形成基于迁移学习和深度
Q
网络算法的综合性电网安全优化调度总体架构；基于该迁移学习和深度
Q
网络算法的综合性电网安全优化调度总体架构，搭建电网环境与智能体进行交互并基于真实电网场景数据训练电网安全优化调度智能体，将训练好的电网安全优化调度智能体嵌入综合性电网安全优化调度总体架构中，通过对电网环境实时观测通过动态安全评估其判断，故障情况下调用智能体输出调度动作，实现对电网系统的智能安全调控
。2.
根据权利要求1所述的一种综合性电网安全优化调度方法，其特征在于：所述步骤1的具体方法为：初步定义基于迁移学习的动态安全评估方案中的变量和参数：源域
S、
目标域
T、
深度特征提取网络
F、
域鉴别器神经网络
D、
动态安全评估器神经网络
C
中涉及的参数和变量
。3.
根据权利要求1所述的一种综合性电网安全优化调度方法，其特征在于：所述步骤2的具体步骤包括：
(1)
针对电网不同运行状态进行特征学习，从不同故障的输入数据中提取出特征空间内的域不变特征；
(2)
基于步骤2第
(1)
步所提取出特征空间内的域不变特征，对深度特征提取网络
、
域鉴别器神经网络
、
动态安全评估器神经网络进行参数更新方法的设计，构建完成基于迁移学习的新型电网安全调度动态安全评估方案总体架构
。4.
根据权利要求3所述的一种综合性电网安全优化调度方法，其特征在于：所述步骤2第
(1)
步的具体步骤包括：
①
根据深度特征提取网络
F
将样本数据
x
映射为
M
维的特征向量
f∈R
M
，即生成的特征向量
f
用于动态安全评估器神经网络
C
中，预估安全性状态标签
y
，即
②
生成的特征向量
f
同时被用于域鉴别器神经网络
D
中，对样本进行相应的域分类，分类标签为
d
，当样本属于源域
S
时，
d
＝0；当样本属于目标域
T
时，
d
＝1，即
③
如果无法区分输入的样本数据来自何处，则表明目标域
T
与源域
S
已经足够相似，目标域的样本数据直接应用由源域数据训练的动态安全评估器进行评估，完成从不同故障的输入数据中提取出特征空间内的域不变特征
。5.
根据权利要求3所述的一种综合性电网安全优化调度方法，其特征在于：所述步骤2第
(2)
步的具体步骤包括：
①
将动态安全评估器神经网络
C
在评估第
i
个样本时的损失函数表示为如下公式：域鉴别器神经网络
D
在分类第
i
个样本时的损失函数表示为如下公式：
根据步骤2第
(1)
步可知深度特征提取网络
F
嵌入动态安全评估器神经网络和域鉴别器神经网络中，通过将式
(1)
与式
(2)
组合，得到整个动态安全评估方案的目标函数，将其表示为如下公式：其中，
σ
表示两个损失函数之间的权衡参数；式
(3)
第一部分是源域的安全评估损失，第二部分是源域和目标域的域分类损失；根据式
(3)
，可通过搜索鞍点迭代更新得到最佳的参数具体如下公式所示：具体如下公式所示：
②
对式
(4)
和式
(5)
进行对抗性迭代计算，使用梯度的随机估计来更新参数，其公式如下：下：下：其中，
α
表示学习率；
③
在和之间使用了一个特殊的反转梯度层
G(
·
)
，如式
(9)
所示：其中，
I
表示单位矩阵；对于神经网络前向传播，
G(
·
)
是一个恒等变换；对于神经网络反向传播，
G(
·
)
从中提取梯度并改变其符号，将其乘以
“‑
1”，即在传递到之前，使用替换根据式
(9)
，式
(3)
可以重新表述如下公式，可直接使用
SGD
的方法更新神经网络参数：至此完成深度特征提取网络
、
域鉴别器神经网络
、
动态安全评估神经网络的参数更新，构建完成基于迁移学习的新型电网安全调度动态安全评估方案总体架构
。6.
根据权利要求1所述的一种综合性电网安全优化调度方法，其特征在于：所述步骤3的建立并更新深度
Q
网络
DQN
智能体的具体步骤包括：
(1)
选取电网中状态观测变量和执行动作变量，并设计促进电网稳定运行的奖励机制；
(2)
基于所选取的电网中状态观测变量和执行动作变量和所设计的促进电网稳定运行的奖励机制，设计深度
Q
网络
DQN
智能体中预估网络和目标网络及其更新流程和更新公式，
完成深度
Q
网络
DQN
智能体的建立和更新流程；所述步骤3第
(1)
步的具体步骤包括：
①
在
t
时段的电网系统状态
s
t
∈S
，选取电网中状态观测变量如下：其中，
I,J,K
分别表示该电网系统中有
I
条电力传输线，
J
个发电机组节点，
K
个负载节点；分别表示第
j
个发电机组节点上的有功出力
、
无功出力以及电压大小；表示第
h
个新能源机组节点上下一时刻的有功出力上限预测值，
H
表示
J
个机组种有
H
个新能源机组，
H
＜
J
；分别表示第
k
个负载节点上的有功需求
、
无功需求以及电压大小；表示第
k
个负载节点上下一时刻的有功需求预测值；
E
i
表示第
i
条电力传输线上的开断状态，是一个布尔值变量，当
E
i
＝1时表示传输线为断开状态，当
E
i
＝0时表示传输线为连接状态；
rho
i
表示第
i
条电力传输线上的负载率；
②
选取
t
时刻电网的执行动作变量
a
t
∈A
如下式所示：其中，
Z
表示该电网系统有
Z
个可控机组；表示第
...
【专利技术属性】
技术研发人员：郭凌旭，韩枭赟，马世乾，崇志强，郝毅，穆朝絮，徐娜，黄志刚，商敬安，史亚坤，李振斌，陈亮，于光耀，王天昊，陈建，张杰，
申请(专利权)人：国网天津市电力公司国家电网有限公司天津大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。