基于注意力机制和深度强化学习的电网潮流调整方法技术

基于注意力机制和深度强化学习的电网潮流调整方法。本发明专利技术基于注意力机制构建深度强化学习模型，能够自动学习并解决电网潮流调整任务。首先基于马尔可夫决策过程和潮流仿真程序构建强化学习交互环境，基于注意力机制构建神经网络模型作为智能体；之后随机初始化电网潮流状态，随机选择需要进行潮流调整的电网线路或断面并随机设定合理范围内的目标功率；随后智能体与环境交互采集数据存入经验池，使用双竞争深度Q网络算法训练更新智能体参数。本发明专利技术的优点在于，通过智能体自主与环境交互来学习发电机调度策略，实现了断面功率控制的自动化，相比基于专家知识的人工调整方法具有更强的自适应性；引入注意力机制，建模捕获调整目标和全局电气特征的关系，提高了算法的准确度。度。度。

【技术实现步骤摘要】
基于注意力机制和深度强化学习的电网潮流调整方法


[0001]本专利技术涉及智能电网潮流调整的
，特别是基于人工智能技术的智能电网潮流调整


技术介绍

[0002]为满足社会和工业日益增长的电力负荷需求，我国电力系统的建设规模不断扩大。随着我国工业信息化进程的推进，电力系统对自动化、智能化的要求逐步提高。而传统的电力分析和控制技术在当代大规模电网中效率低、成本高，亟需向智能电网进行转变。人工智能是建设新型电力系统的关键支撑技术，是助力电网向高质量发展的关键通路。
[0003]电网潮流调整是电网日常运行控制中的关键任务，通过对全网发电机功率的调度来控制电网中电力潮流状态分布，从而使得电力输送在不断变化的电力负荷情况下达到预期状态。电网潮流状态的典型体现是电网断面功率，断面是电力系统中某些线路的集合，其通常代表了不同区域间的电力交换。该任务的自动化程度体现了电网的智能化水平，也决定了电网运行的安全性和稳定性。
[0004]尽管能够借助一些潮流仿真和分析技术来帮助电网调度人员进行电网潮流调整，但现实中该任务的高效完成通常比本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于注意力机制和深度强化学习的电网潮流调整方法，其特征在于基本步骤如下：1)基于马尔可夫决策过程和潮流仿真程序构建强化学习交互环境，基于注意力机制构建神经网络模型作为智能体；2)随机初始化电网潮流状态，随机选择需要进行潮流调整的电网线路或断面并随机设定合理范围内的目标功率；3)智能体与环境交互采集数据存入经验池，使用双竞争深度Q网络(D3QN)算法训练更新智能体参数；4)使用训练完成的智能体在给定潮流和目标下输出调度序列进行潮流调整。2.如权利要求1所述的电网潮流调整方法，其特征在于步骤1)的强化学习交互环境构建过程如下：基于潮流调整问题定义强化学习基本要素，包括观测状态、奖励函数、动作值等。观测状态包括全网支路、母线节点的电气特征(有功功率、无功功率数值)和位置特征(离散编号)以及待调整支路或断面的目标电气特征和位置特征；奖励函数定义为当前潮流调整目标值和当前值的距离函数；动作值定义为发电机的离散调整量，对于G台可调发电机，当每台发电机具有C种调整措施时，动作空间大小为C
×
G。3.如权利要求1所述的电网潮流调整方法，其特征在于步骤1)中的基于注意力机制构建神经网络模型作为智能体的过程如下：(1.1)为每个观测状态设置W个可学习的参数，与原始数值相乘后每个观测状态可得到长度为W的嵌入向量。将同一电气对象(支路或母线节点)的有功功率、无功功率、位置特征对应的嵌入向量进行拼接，得到长度为3W的嵌入向量，将不同嵌入向量叠加，得到维度大小为(M+N,3W)的观测特征输入矩阵，行数M代表不同电气对象的数量，N代表预设待调整对象的数量，待调整对象数量少于N时，不足的行全部置0；(1.2)构建注意力机制模块，输入分别经过维度三个大小为(3W,W)的线性变换矩阵得到查询向量矩阵Q，键向量矩阵K，值向量矩阵V。然后经过注意力运算，输出值向量矩阵的加权表示，运算公式如下：其中softmax(t)函数公式为t代表向量。(1.3)设置T组并排的注意力机制模块，将观测特征矩阵分别输入每组注意力机制模块，学习不同隐式空间下的嵌入向量表达，分别得到维度大小为(M+N,W)的输出矩阵(1.4)将T个输出矩阵拼接得到维度大小为(M+N,T
·
W)的矩阵，经过一个维度大小为(T
·
W,O)的信...

【专利技术属性】
技术研发人员：王灿，徐震宇，叶德仕，史麒豪，冯雁，
申请(专利权)人：浙江大学，
类型：发明
国别省市：