一种电网无功电压控制模型训练方法及系统技术方案

本发明专利技术提供了一种电网无功电压控制模型训练方法，所述方法包括：建立电网仿真模型；根据电网无功电压控制目标，建立无功电压优化模型；结合电网仿真模型和无功电压优化模型，搭建基于对抗马尔科夫决策过程的交互训练环境；通过联合对抗训练算法训练电网无功电压控制模型；将训练后的电网无功电压控制模型迁移到在线系统。本发明专利技术所训练得到的电网无功电压控制模型，相较于传统方法，具备可迁移的特性，可以直接用于在线电网无功电压控制。相较于现有的基于强化学习的电网优化方法，本发明专利技术的在线控制训练成本与安全隐患大幅降低，更适合部署在实际电网系统中。

【技术实现步骤摘要】
一种电网无功电压控制模型训练方法及系统
本专利技术属于电力系统运行和控制
，特别涉及一种电网无功电压控制模型训练方法及系统。
技术介绍
近年来，分布式可再生能源发电设备(DG，DistributedGeneration)渗透率的不断提高，使新能源场站及其汇集区的电网调控愈发重要。DG作为一种灵活性资源，其装机容量往往大于其额定有功功率，且响应速度快，存在大量的可调控空间。为了解决大规模DG并网功率倒送带来的电压越限、设备脱网和网损严重等问题，针对DG的电网无功电压控制系统已成为关键措施。然而，由于电网的真实物理系统模型难以获得，传统基于模型的优化方法无法保障控制效果，常常出现控制指令远离最优点、电网运行在次优状态的情况。因此，数据驱动的无模型的优化方法，特别是近年来发展迅速的深度强化学习方法，是电网无功电压控制的重要手段。但数据驱动的深度强化学习方法，往往需要大量的在线训练，这既产生了高昂的训练成本，又导致了额外的安全隐患。为了应对在线训练效率低下带来的成本问题与安全问题，可以采用提前用仿真模型进行离线训练的方式。然而，由于离线模型并非真实物理系统的电网模型，存在模型偏差，如果采用一般的深度强化学习方法，训练得到的离线模型没有可迁移的特性。这就意味着，将离线训练得到的模型用在在线系统上时，在开始阶段可能出现控制效果不理想的问题。因此，有必要研究一种电网无功电压控制模型训练方法，训练出具备可迁移特性的深度强化学习模型，使其可以安全高效地应用到在线电网无功电压控制系统上，在避免模型不完备带来控制偏差的同时，节省在线训练的成本，大幅提高在线控制的安全性与效率。
技术实现思路
针对上述问题，本专利技术提供了一种电网无功电压控制模型训练方法，所述方法包括：建立电网仿真模型；根据电网无功电压控制目标，建立无功电压优化模型；结合电网仿真模型和无功电压优化模型，搭建基于对抗马尔科夫决策过程的交互训练环境；通过联合对抗训练算法训练电网无功电压控制模型；将训练后的电网无功电压控制模型迁移到在线系统。进一步地，所述建立电网仿真模型，包括：对于n+1个节点的区域电网，构建无向图，如下：Π(N,E)其中，N为电网节点集合，E为电网支路集合，E＝(i,j)∈N×N，i、j均为电网节点。进一步地，所述建立电网仿真模型，还包括：构建电网潮流方程，如下：其中，Vi,θi分别为电网节点i的电压幅值和相角，所述Vj，θj分别为电网节点j的电压幅值和相角，Gij,Bij分别为电网支路ij的电导和电纳，Pij,Qij分别为电网支路ij的有功功率和无功功率，θij为电网支路ij的相角差；对于电网节点j∈N，其功率的表达式如下：其中，Pj,Qj分别为电网节点j的有功功率和无功功率注入，Gsh,i,Bsh,i分别为电网节点i的接地电导、电纳，PDj,QDj分别为电网节点j的有功功率和无功功率负荷，PGj,QGj分别为电网节点j基于分布式可再生能源发电设备的有功出力和无功出力，QCj为电网节点j基于静止无功补偿器的无功出力，NIB为电网接入的分布式可再生能源发电设备的电网节点集合，NCD为电网接入的静止无功补偿器的电网节点集合，K(i)为节点i所连接的所有支路的对端节点集合，进一步地，所述无功电压优化模型如下：其中，分别为电网节点i的电压下限与上限，分别为电网节点i的静止无功补偿器无功出力下限与上限，分别为电网节点i的分布式可再生能源发电设备装机容量与有功功率出力上限。进一步地，所述搭建基于对抗马尔科夫决策过程的交互训练环境，具体包括以下步骤：A1、构建对抗马尔科夫决策过程状态变量，表达式如下：s＝(P,Q,V,t)其中，P,Q分别为电网节点有功功率、无功功率注入向量，V为电网节点电压向量，t为训练中的时间变量；A2、构建回馈变量，表达式如下：其中，CV为电压抑制系数，ReLU为非线性函数，定义为ReLU(x)＝max(0,x)；A3、构建无功电压控制模型动作变量ap，表达式如下：ap＝(QG,QC)其中，QG,QC均为无功功率出力向量；A4、构建对抗模型动作变量ao，表达式如下：ao＝(G,B)其中，G,B分别为所有线路电导和电纳组成的向量。进一步地，所述通过联合对抗训练算法训练电网无功电压控制模型，具体包括以下步骤：B1、定义强化学习目标函数，表达式如下：其中，γ为折合系数，αp,αo分别无功电压控制模型和对抗模型的最大熵乘子，πp为无功电压控制模型策略，πo为对抗模型策略，πp(·|st),πo(·|st)分别无功电压控制模型策略函数和对抗模型策略函数，定义为状态st下的动作概率分布，通过深度神经网络进行拟合，H为熵函数；B2、通过再参数化方法，转换无功电压控制模型策略函数和对抗模型策略函数的形式，表达式分别如下：其中，θ为无功电压控制模型策略网络参数，ω为对抗模型策略网络参数，μθ(s)和σθ(s)分别为无功电压控制模型的均值和方差函数，μω(s)和σω(s)分别为对抗模型的均值和方差函数，N(0,I)为标准高斯分布函数，ξp,ξo分别无功电压控制模型和对抗模型的随机变量，s为对抗马尔科夫决策过程状态变量；B3、定义联合对抗值函数网络表达式如下：其中，s'为t+1时刻的对抗马尔科夫决策过程状态变量，a'p,a'o分别为t+1时刻的无功电压控制模型和对抗模型的动作变量，πp(a'p|s'),πo(a'o|s')分别为t+1时刻的无功电压控制模型动作概率值和对抗模型动作概率值；计算联合对抗值函数网络的估计值，如下：其中，分别为t+1时刻的无功电压控制模型和对抗模型的预估动作变量；采用下式对联合对抗值函数网络进行训练：其中，φ为参数，πp(·|s'),πo(·|s')分别为t+1时刻的无功电压控制模型策略函数和对抗模型策略函数；B4、训练无功电压控制模型策略网络，表达式如下：进一步地，所述熵函数H的表达式如下：进一步地，所述将训练后的电网无功电压控制模型迁移到在线系统，具体包括以下步骤：C1、获取最优联合对抗值函数网络与当前无功电压控制模型策略πp；C2、通过下式将联合对抗值函数网络边际化；C3、将边际化后的联合对抗值函数网络与无功电压控制模型策略网络形成的无功电压控制模型策略πp部署到在线系统；C4、初始化时间变量t＝0，初始化经验库经验库D表达式如下：其中，st为t时刻对抗马尔科夫决策过程状态变量，为t时刻无功电压控制模型动作变量，为t时刻对抗模型动作变量，rt为t时刻回馈变量，s′t为t+1本文档来自技高网...

【技术保护点】
1.一种电网无功电压控制模型训练方法，其特征在于，所述方法包括：/n建立电网仿真模型；/n根据电网无功电压控制目标，建立无功电压优化模型；/n结合电网仿真模型和无功电压优化模型，搭建基于对抗马尔科夫决策过程的交互训练环境；/n通过联合对抗训练算法训练电网无功电压控制模型；/n将训练后的电网无功电压控制模型迁移到在线系统。/n

【技术特征摘要】
1.一种电网无功电压控制模型训练方法，其特征在于，所述方法包括：
建立电网仿真模型；
根据电网无功电压控制目标，建立无功电压优化模型；
结合电网仿真模型和无功电压优化模型，搭建基于对抗马尔科夫决策过程的交互训练环境；
通过联合对抗训练算法训练电网无功电压控制模型；
将训练后的电网无功电压控制模型迁移到在线系统。


2.根据权利要求1所述的电网无功电压控制模型训练方法，其特征在于，所述建立电网仿真模型，包括：
对于n+1个节点的区域电网，构建无向图，如下：
Π(N,E)
其中，N为电网节点集合，E为电网支路集合，E＝(i,j)∈N×N，i、j均为电网节点。


3.根据权利要求2所述的电网无功电压控制模型训练方法，其特征在于，所述建立电网仿真模型，还包括：
构建电网潮流方程，如下：









其中，Vi,θi分别为电网节点i的电压幅值和相角，所述Vj，θj分别为电网节点j的电压幅值和相角，Gij,Bij分别为电网支路ij的电导和电纳，Pij,Qij分别为电网支路ij的有功功率和无功功率，θij为电网支路ij的相角差；
对于电网节点j∈N，其功率的表达式如下：






其中，Pj,Qj分别为电网节点j的有功功率和无功功率注入，Gsh,i,Bsh,i分别为电网节点i的接地电导、电纳，PDj,QDj分别为电网节点j的有功功率和无功功率负荷，PGj,QGj分别为电网节点j基于分布式可再生能源发电设备的有功出力和无功出力，QCj为电网节点j基于静止无功补偿器的无功出力，NIB为电网接入的分布式可再生能源发电设备的电网节点集合，NCD为电网接入的静止无功补偿器的电网节点集合，K(i)为节点i所连接的所有支路的对端节点集合，


4.根据权利要求2所述的电网无功电压控制模型训练方法，其特征在于，所述无功电压优化模型如下：












其中，Vi,分别为电网节点i的电压下限与上限，QCi,分别为电网节点i的静止无功补偿器无功出力下限与上限，SGi,分别为电网节点i的分布式可再生能源发电设备装机容量与有功功率出力上限。


5.根据权利要求4所述的电网无功电压控制模型训练方法，其特征在于，所述搭建基于对抗马尔科夫决策过程的交互训练环境，具体包括以下步骤：
A1、构建对抗马尔科夫决策过程状态变量，表达式如下：
s＝(P,Q,V,t)
其中，P,Q分别为电网节点有功功率、无功功率注入向量，V为电网节点电压向量，t为训练中的时间变量；
A2、构建回馈变量，表达式如下：



其中，CV为电压抑制系数，ReLU为非线性函数，定义为ReLU(x)＝max(0,x)；
A3、构建无功电压控制模型动作变量ap，表达式如下：
ap＝(QG,QC)
其中，QG,QC均为无功功率出力向量；
A4、构建对抗模型动作变量ao，表达式如下：
ao＝(G,B)
其中，G,B分别为所有线路电导和电纳组成的向量。


6.根据权利要求5所述的电网无功电压控制模型训练方法，其特征在于，所述通过联合对抗训练算法训练电网无功电压控制模型，具体包括以下步骤：
B1、定义强化学习目标函数，表达式如下：



其中，γ为折合系数，αp,αo分别无功电压控制模型和对抗模型的最大熵乘子，πp为无功电压控制模型策略，πo为对抗模型策略，πp(·|...

【专利技术属性】
技术研发人员：吴文传，刘昊天，孙宏斌，王彬，郭庆来，夏天，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11