一种电网无功电压分布式控制方法及系统技术方案

本发明专利技术提供一种电网无功电压分布式控制方法，包括：根据被控电网整体无功电压控制目标与优化模型，制定各被控区域无功电压控制目标，并建立无功电压优化模型；结合优化模型与电网的实际配置情况，构建基于马尔科夫游戏的多智能体交互训练框架；初始化各神经网络及相关控制过程变量并下发到各控制区域；各区域本地控制器根据接收的策略神经网络并行执行控制步骤；各区域本地控制器并行执行上传样本步骤，上传量测样本到云服务器；云服务器并行学习各个控制器策略并下发更新后的策略到各区域控制器。本发明专利技术实现了无功电压灵活控制和模型不完备场景下的最优控制。

【技术实现步骤摘要】
一种电网无功电压分布式控制方法及系统
本专利技术属于电力系统运行和控制
，特别涉及一种电网无功电压分布式控制方法及系统。
技术介绍
在能源与环境问题的推动下，清洁型、分散型可再生能源(DistributedGeneration，简称DG)在电网中的比例日益提高，大规模、高渗透率DG发电并网成为能源与电力领域的前沿和热点。由于DG量大分散、波动性强，其在配电网乃至输电网的电压质量与调度运行等方面带来了一系列负面影响。DG常常通过电力电子逆变器并网，具备灵活高速的调节能力。为高效控制DG并改善高渗透率电网的电压质量，无功电压控制已成为电网调控运行的重要课题。在传统电网中，常采用基于电网模型的集中式优化方法实现无功电压控制，在消除电压越限的同时改善被控电网网损。然而，集中式优化控制方法往往存在单点失效、通讯与计算负担高、受通信时延影响严重等关键问题。特别是在高渗透率电网中，被控DG众多，网络结构复杂，使得集中式控制方法严重受限，无法合理调控高速资源。因此，一系列分布式无功电压控制方法应运而生，分布式方法相比于集中式方法，往往对通信条件的要求更弱，控制速度更快。但是，现有的分布式控制往往采用基于模型的优化方法，由于电网的理想模型难以获得，基于模型的优化方法无法保障控制效果，现有的分布式控制优化方法往往出现控制指令远离最优点、电网运行在次优状态的情况，在连续在线运行场景下，更加难以满足高效、安全控制的要求。因此，提供一种高安全性、高效率以及高灵活性的电网无功电压控制方法是本领域亟待解决的技术问题。
技术实现思路
针对上述问题，本专利技术提供一种电网无功电压分布式控制方法，包括：步骤1：根据被控电网整体无功电压控制目标与优化模型，制定各被控区域无功电压控制目标，并建立无功电压优化模型；步骤2：结合优化模型与电网的实际配置情况，构建基于马尔科夫游戏的多智能体交互训练框架；步骤3：初始化各神经网络及相关控制过程变量并下发到各控制区域；步骤4：各区域本地控制器根据接收的策略神经网络并行执行控制步骤；步骤5：各区域本地控制器并行执行上传样本步骤，上传量测样本到云服务器；步骤6：云服务器并行学习各个控制器策略并下发更新后的策略到各区域控制器；步骤7：重复执行步骤4、5、6。进一步地，所述步骤1包括：步骤1-1：建立被控电网整体无功电压控制目标与优化模型：其中，为电网全部节点的集合，Vj为节点j的电压幅值；Pj为节点j的有功功率输出；QGj为节点j的DG无功功率输出；QCj为节点j的SVC无功功率输出；分别为节点j的电压下限与上限；分别为节点j的SVC无功功率输出的下限与上限；SGj,PGj分别为节点j的DG装机容量与有功功率输出；步骤1-2：拆分上述无功电压控制目标与优化模型，形成各被控区域无功电压控制目标与优化模型：其中，为第i个区域的全部节点集合，为第i个区域的网络输出功率。进一步地，步骤2包括：步骤2-1：对应各区域系统量测，构建各区域观测变量oi,t：其中Pi,Qi为第i个区域各节点有功、无功功率注入组成的向量；Vi为第i个区域各节点电压组成的向量；为第i个区域的网络输出有功功率和网络输出无功功率；t为控制过程的离散时间变量；步骤2-2：对应各区域无功电压优化目标，构建各区域统一回馈变量rt：Pj为节点j的有功功率输出，为区域i的网络输出有功功率；步骤2-3：对应各区域无功电压优化约束，构建各区域约束回馈变量其中[x]+＝max(0,x)；βi为第i个区域的协作系数，Vj(t)为t时刻节点j的电压，表示电压上限，V为电压上限；步骤2-4：对应可控灵活性资源无功功率，构建各区域动作变量ai,t：ai,t＝(QGi,QCi)t(0.25)其中，QGi,QCi分别为第i个区域的DG及SVC无功功率输出向量。进一步地，所述步骤3包括：步骤3-1：初始化各神经网络及相关控制过程变量并下发到各控制区域；步骤3-2：初始化各区域拉格朗日乘子λi，为一标量；步骤3-3：通过通讯网络，下发初始策略神经网络与到区域i的控制器；步骤3-4：初始化离散时间变量t＝0，两步之间的实际时间间隔为Δt；步骤3-5：初始化策略更新周期Tu，用于每隔TuΔt时间执行一次策略更新；步骤3-6：初始化样本上传周期Ts与样本上传比例m∈[1,Ts]，用于每隔TsΔt各控制器进行一次样本上传，上传前一个上传周期中的m个样本；步骤3-7：初始化云服务器经验库各控制器本地缓存经验库进一步地，所述步骤3-1包括：步骤3-1-1：定义神经网络为一个输入(oi,t,ai,t)输出单个标量值的神经网络；激活函数为ReLU函数；记的网络参数为φi，对应的冻结参数为并随机初始化φi与步骤3-1-2：定义神经网络为一个输入(oi,t,ai,t)输出单个标量值的神经网络；激活函数为ReLU函数；记的网络参数记为对应的冻结参数为随机初始化与步骤3-1-3：定义与为两个输入oi,t输出与动作ai,t形状相同向量的神经网络，与分别具有独立的输出层，同时共享相同的神经网络输入层与隐含层；激活函数为ReLU函数；记与的全部网络参数为θi，随机初始化θi。进一步地，所述步骤4包括：步骤4-1：从区域电网的量测装置获得量测信号，形成对应的观测变量oi,t；步骤4-2：根据本地的策略神经网络与生成本时刻对应动作ai,t：步骤4-3：控制器将ai,t下发至本地被控灵活性资源，如DG节点和SVC节点；步骤4-4：将(oi,t,ai,t)储存到中。进一步地，所述步骤5包括：步骤5-1：将中前m+1个样本上传至云服务器的经验库Di中；步骤5-2：清空步骤5-3：在云服务器上对本轮上传数据的前m组计算rt与步骤5-4：如发生通讯故障，导致某区域样本未能上传，可直接忽略本次采样上传。进一步地，所述步骤6包括：步骤6-1：从经验库Di中抽取一组经验数量为B；步骤6-2：计算参数φi的损失函数：其中x＝(o1,...,oN)为全部区域观测值；x'为x对应的下一时刻观测值；a1,...,aN分别为区域1到区域N的动作向量；表示在中求取；yi为：其中γ为折合系数；αi为区域i的熵最大化因子；为取到的概率值；为：⊙表示按位相乘，o′i为区域i下一时刻的观测值；步骤6-3：更新参数φi：其中ρi为学习步长，表示是对变量φi求梯度；步骤6-4：计算参数的损失函数；其中为：步骤6-5：更新参数步骤6-6：计算拉格朗日函数：其中为电压越线程度约束限值；为：...

【技术保护点】
1.一种电网无功电压分布式控制方法，其特征在于，包括：/n步骤1：根据被控电网整体无功电压控制目标与优化模型，制定各被控区域无功电压控制目标，并建立无功电压优化模型；/n步骤2：结合优化模型与电网的实际配置情况，构建基于马尔科夫游戏的多智能体交互训练框架；/n步骤3：初始化各神经网络及相关控制过程变量并下发到各控制区域；/n步骤4：各区域本地控制器根据接收的策略神经网络并行执行控制步骤；/n步骤5：各区域本地控制器并行执行上传样本步骤，上传量测样本到云服务器；/n步骤6：云服务器并行学习各个控制器策略并下发更新后的策略到各区域控制器；/n步骤7：重复执行步骤4、5、6。/n

【技术特征摘要】
1.一种电网无功电压分布式控制方法，其特征在于，包括：
步骤1：根据被控电网整体无功电压控制目标与优化模型，制定各被控区域无功电压控制目标，并建立无功电压优化模型；
步骤2：结合优化模型与电网的实际配置情况，构建基于马尔科夫游戏的多智能体交互训练框架；
步骤3：初始化各神经网络及相关控制过程变量并下发到各控制区域；
步骤4：各区域本地控制器根据接收的策略神经网络并行执行控制步骤；
步骤5：各区域本地控制器并行执行上传样本步骤，上传量测样本到云服务器；
步骤6：云服务器并行学习各个控制器策略并下发更新后的策略到各区域控制器；
步骤7：重复执行步骤4、5、6。


2.根据权利要求1所述的电网无功电压分布式控制方法，其特征在于，所述步骤1包括：
步骤1-1：建立被控电网整体无功电压控制目标与优化模型：



其中，为电网全部节点的集合，Vj为节点j的电压幅值；Pj为节点j的有功功率输出；QGj为节点j的DG无功功率输出；QCj为节点j的SVC无功功率输出；Vj,分别为节点j的电压下限与上限；QCj,分别为节点j的SVC无功功率输出的下限与上限；SGj,PGj分别为节点j的DG装机容量与有功功率输出；
步骤1-2：拆分上述无功电压控制目标与优化模型，形成各被控区域无功电压控制目标与优化模型：



其中，为第i个区域的全部节点集合，为第i个区域的网络输出功率。


3.根据权利要求2所述的电网无功电压分布式控制方法，其特征在于，所述步骤2包括：
步骤2-1：对应各区域系统量测，构建各区域观测变量oi,t：



其中Pi,Qi为第i个区域各节点有功、无功功率注入组成的向量；Vi为第i个区域各节点电压组成的向量；Pie,为第i个区域的网络输出有功功率和网络输出无功功率；t为控制过程的离散时间变量；
步骤2-2：对应各区域无功电压优化目标，构建各区域统一回馈变量rt：



Pj为节点j的有功功率输出，为区域i的网络输出有功功率；
步骤2-3：对应各区域无功电压优化约束，构建各区域约束回馈变量



其中[x]+＝max(0,x)；βi为第i个区域的协作系数，Vj(t)为t时刻节点j的电压，表示电压上限，V为电压上限；
步骤2-4：对应可控灵活性资源无功功率，构建各区域动作变量ai,t：
ai,t＝(QGi,QCi)t(0.6)
其中，QGi,QCi分别为第i个区域的DG及SVC无功功率输出向量。


4.根据权利要求3所述的电网无功电压分布式控制方法，其特征在于，所述步骤3包括：
步骤3-1：初始化各神经网络及相关控制过程变量并下发到各控制区域；
步骤3-2：初始化各区域拉格朗日乘子λi，为一标量；
步骤3-3：通过通讯网络，下发初始策略神经网络与到区域i的控制器；
步骤3-4：初始化离散时间变量t＝0，两步之间的实际时间间隔为Δt；
步骤3-5：初始化策略更新周期Tu，用于每隔TuΔt时间执行一次策略更新；
步骤3-6：初始化样本上传周期Ts与样本上传比例m∈[1,Ts]，用于每隔TsΔt各控制器进行一次样本上传，上传前一个上传周期中的m个样本；
步骤3-7：初始化云服务器经验库各控制器本地缓存经验库


5.根据权利要求4所述的电网无功电压分布式控制方法，其特征在于，所述步骤3-1包括：
步骤3-1-1：定义神经网络为一个输入(oi,t,ai,t)输出单个标量值的神经网络；激活函数为ReLU函数；记的网络参数为φi，对应的冻结参数为并随机初始化φi与
...

【专利技术属性】
技术研发人员：吴文传，刘昊天，孙宏斌，王彬，郭庆来，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11