基于多智能体的配电网电压控制方法、系统、设备及介质技术方案

本发明专利技术公开了一种基于多智能体的配电网电压控制方法、系统、设备及介质，能够在大部分场景下自动调节光伏逆变器的无功功率并维持电压在安全范围内。相较于传统方案，本发明专利技术能够大大减少计算负担，且基于神经网络的策略能够进行快速推理，能够实时响应电网调度中的各种情况。同时与现有的用于电压控制任务的多智能体强化学习方案相比，加入了自主纠正危险动作的机制，能有效减少电压越限情况的方式，同时可以仅依赖于局部电网信息进行决策，能够很好的满足分布式部署地需求。因此，本发明专利技术可以便携地部署到局部电压控制设备中，应用场景广泛，为电网调度向智能化方向的发展提供了有力的技术支持，同时也能促进分布式可再生能源在电网发电端的普及。电网发电端的普及。电网发电端的普及。

【技术实现步骤摘要】
基于多智能体的配电网电压控制方法、系统、设备及介质


[0001]本专利技术涉及配电网电压自动化控制
，尤其涉及一种基于多智能体的配电网电压控制方法、系统、设备及介质。

技术介绍

[0002]随着分布式可再生能源在配电网中的渗透率不断提高，这对配电网的运行和控制提出了巨大的挑战。分布式电源出力的随机性、波动性和间歇性改变了传统配电网的潮流分布，电压会发生波动甚至越限，为电网的稳定运行带来很多不确定性因素，从而导致配电网整体质量和供电可靠性都会受到影响。无论是过电压还是低电压均会降低能源效率，造成设备涌流甚至损坏用户设备，进一步地会导致企业生产效率下降和能耗增加，对人类的生产生活造成严重危害。这些不稳定的分布式可再生能源给配电网电压控制带来了前所未有的挑战，配电网电压控制问题成为了当前配电网智能调度技术中的重要课题。
[0003]传统的电压控制策略大致分为两类，一类是基于最优潮流方法的无功功率调度，另一类是基于本地电压和功率测量的下垂控制方法。最优潮流算法的计算复杂度较高，需要大量的计算资源和时间，这使得它在实时电网控制中不够实用，只适用于静态分析和规划。下垂控制只依赖于它的局部观测，且其性能高度依赖于人工设计的参数，同时由于缺乏全局信息其计算得到的结果往往是次优的。因此，传统配电网电压控制算法存在很多局限性，无法适应智能化电网的要求，如实时响应、自适应、可靠性等。
[0004]目前，在实际电压调度中主要采用以人工操作为主，传统的仿真工具和计算工具为辅的调度方式确保电网的安全稳定运行。这需要耗费大量的设备资金和人力成本，并且由于配电网调度中存在极大的动作空间、极长的决策步数、太过复杂的拓扑结构、随机发生的各种突发事件的制约，很难保证当前采取的策略是否有利于长期电网运行的低损耗和安全性。除此之外，电网中大量测量设备的安装也导致电网检测数据的规模十分庞大，如何分析和利用好电网大数据并应用于实际决策中也是实际电网调度中存在的巨大问题。
[0005]近年来，基于光伏逆变器无功控制的多智能体强化学习被引入到配电网电压控制领域。相比于传统的电压控制方法，它利用数据驱动学习最优的策略，在进行决策时仅需较少的计算开销。通过与电网仿真环境不断地交互并根据交互结果进行惩罚和奖励，神经网络逐渐学习到应对电网各种状态变化的调度策略。在推理阶段，输入给定电网的全局电网信息或控制设备所在区域的局部电网信息，策略网络可以输出对应局部电网信息下控制设备所应采取的动作，而这些动作能够保证电网运行时的低损耗和安全性。
[0006]此外，目前科研人员，还提出了基于约束马尔可夫决策过程的安全强化学习算法进行电压控制。
[0007]总体来说，目前以上三类技术方案存在如下技术问题：
[0008]1、当前电网中实际采用的电压控制算法(即前述传统的电压控制策略)仍以人工经验为主，需要电网调度人员手动设计大量参数，并基于其他辅助计算软件的结果对算法给出的策略再进行修正。这一电压控制方式无法充分利用电网的大数据，容易受到电网调
度人员的认知和经验水平的影响，难以全面考虑电网的系统整体性，这可能导致算法性能的不稳定，同时也需要耗费大量的人力和计算成本。除此之外，传统电压控制算法难以实现自动化，这意味着无法及时响应电网的状态变化，例如突发线路故障等，导致电网的不稳定从而影响日常的生产生活。
[0009]2、现有的基于多智能体强化学习的电压控制算法在探索过程中需要大量的试错，且没有有效措施保证学习的策略在部署过程中的安全性。在电网调度任务中多智能体强化学习算法需要在不同的情况下尝试不同的动作以发现最优的控制策略，对电力仿真环境的建模要求较高，需要建模考虑众多可能状态。并且智能体试错操作的代价可能很高，使得学习过程变得缓慢和耗时。同时如果在试错的过程中不加以约束智能体的策略，智能体可能会学习到一些包含不安全行为的策略，其策略的安全性难以保证。当前的技术方案，对于多智能体强化学习安全探索和部署的问题，缺乏有效的研究，需要进一步探索和改进。
[0010]3、现有的基于约束马尔可夫决策过程的安全强化学习算法多是在集中式单智能体设置下进行电压控制，适用场景受限，难以在实际的分布式可再生能源场景中适用。在实际调度场景中，电网中每个区域的智能体(可控设备)通常难以获得全局电网信息，仅能获得测量设备所能测量区域的局部电网电网信息。即现有的单智能体安全强化学习方法无法在区域局部信息条件下做出决策。

技术实现思路

[0011]本专利技术的目的是提供一种基于多智能体的配电网电压控制方法、系统、设备及介质，可以高效地根据当前区域的局部电网信息调节光伏逆变器的无功功率，并对可能产生电压越界的危险动作策略(即当前的光伏逆变器无功功率值可能导致下一时间步某些电压越界)进行纠正，使得最终的动作策略尽可能保证电网中的所有母线尽可能维持在安全电压范围内，从而更好地适应实际电网调度要求。
[0012]本专利技术的目的是通过以下技术方案实现的：
[0013]一种基于多智能体的配电网电压控制方法，包括：
[0014]构建包含多个智能体的配电网电压控制模型，每一智能体包含策略网络模块与动作纠正子网络模块；其中，智能体中的策略网络模块，负责根据局部电网信息输出相应动作，动作纠正子网络模块负责结合局部电网信息与策略网络模块输出的动作计算第一动作纠正量；
[0015]对所述包含多个智能体的配电网电压控制模型进行集中式训练，集中式训练过程中引入安全层，所述安全层负责根据全局电网信息对输入的动作进行纠正，输出安全动作；基于全局电网信息、所有智能体中的策略网络模块输出的动作与动作纠正子网络模块输出的第一动作纠正量，训练出每一个智能体的集中式动作价值函数，对于每一个智能体，通过最大化集中式动作价值函数来更新策略网络模块的参数，再基于策略网络模块输出的动作与安全层输出的安全动作更新动作纠正子网络模块的参数，通过反复迭代直至每一个智能体策略网络模块和动作纠正子网络模块的参数收敛，完成集中式训练过程；
[0016]训练完毕后，每一智能体根据训练后的策略网络模块与动作纠正子网络模块输出的动作与第一动作纠正量，生成纠正后的动作并执行；其中，动作是指无功功率调节动作。
[0017]一种基于多智能体的配电网电压控制系统，包括：
[0018]模型构建单元，用于构建包含多个智能体的配电网电压控制模型，每一智能体包含策略网络模块与动作纠正子网络模块；其中，智能体中的策略网络模块，负责根据局部电网信息输出相应动作，动作纠正子网络模块负责结合局部电网信息与策略网络模块输出的动作计算第一动作纠正量；
[0019]集中式训练单元，用于对所述包含多个智能体的配电网电压控制模型进行集中式训练，集中式训练过程中引入安全层，所述安全层负责根据全局电网信息对输入的动作进行纠正，输出安全动作；基于全局电网信息、所有智能体中的策略网络模块输出的动作与动作纠正子网络模块输出的第一动作纠正量，训练出每一个智能体的集中式动作价值函数，对于每一个智能体，通过最大化集中式动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多智能体的配电网电压控制方法，其特征在于，包括：构建包含多个智能体的配电网电压控制模型，每一智能体包含策略网络模块与动作纠正子网络模块；其中，智能体中的策略网络模块，负责根据局部电网信息输出相应动作，动作纠正子网络模块负责结合局部电网信息与策略网络模块输出的动作计算第一动作纠正量；对所述包含多个智能体的配电网电压控制模型进行集中式训练，集中式训练过程中引入安全层，所述安全层负责根据全局电网信息对输入的动作进行纠正，输出安全动作；基于全局电网信息、所有智能体中的策略网络模块输出的动作与动作纠正子网络模块输出的第一动作纠正量，训练出每一个智能体的集中式动作价值函数，对于每一个智能体，通过最大化集中式动作价值函数来更新策略网络模块的参数，再基于策略网络模块输出的动作与安全层输出的安全动作更新动作纠正子网络模块的参数，通过反复迭代直至每一个智能体策略网络模块和动作纠正子网络模块的参数收敛，完成集中式训练过程；训练完毕后，每一智能体根据训练后的策略网络模块与动作纠正子网络模块输出的动作与第一动作纠正量，生成纠正后的动作并执行；其中，动作是指无功功率调节动作。2.根据权利要求1所述的一种基于多智能体的配电网电压控制方法，其特征在于，所述安全层包括：配电网电压预测模块与一阶危险动作近似模块；其中：配电网电压预测模块，负责根据根据全局电网信息和输入的动作预测下一时间步所有母线结点的电压值，称为预测出的电压值；一阶危险动作近似模块，用于根据预测出的电压值是否在安全范围，判断输入的动作是否为危险动作；如果电压值不在安全范围，则认定输入的动作为危险动作，结合预测出的电压值计算第二动作纠正量；如果电压值在安全范围，则第二动作纠正量为0；结合第二动作纠正量与输入的动作获得安全动作。3.根据权利要求2所述的一种基于多智能体的配电网电压控制方法，其特征在于，所述配电网电压预测模块需要预先进行训练；通过与仿真环境交互，每一个时间步的交互会产生(o,a,v)三元组，其中，v是在全局电网信息o下采取动作a后下一时间步所有母线结点的实际电压值；收集交互产生的所有三元组组成电压预测网络的训练集；通过训练集中的全局电网信息o与采取动作a输入至配电网电压预测模块，利用配电网电压预测模块预测出的电压值与训练集中的实际电压值的差异构建损失函数，通过损失函数训练配电网电压预测模块。4.根据权利要求2所述的一种基于多智能体的配电网电压控制方法，其特征在于，所述结合预测出的电压值计算第二动作纠正量包括：获取预测出的电压值关于动作的雅各比矩阵，建立动作关于电压预测值的一阶近似表达式，利用该一阶近似表达式而构建出一个凸优化问题，结合预测出的电压值关于动作的雅各比矩阵，求解该凸优化问题，获得第二动作纠正量。5.根据权利要求1所述的一种基于多智能体的配电网电压控制...

【专利技术属性】
技术研发人员：李厚强，周文罡，施余峰，冯鸣啸，汪敏瑞，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：