一种基于深度强化Q学习的双时间尺度配网电压调节方法技术

本发明专利技术公开一种基于深度强化Q学习的双时间尺度配网电压调节方法，旨在解决传统的电压调节方法设备响应时间慢且难以适应快速变化的负荷和发电工况的问题，包括：初始化并联电容器，使其开关状态为全关或全开；比较当前时刻和当前时间段的开始时刻进行步骤判断；根据当前时间段的结束时刻，从变电站节点获取电网的总功率，计算电网的功率因数；根据深度强化学习算法确定下一个时间段的并联电容器的开关状态；根据当前时刻，从逆变器节点获取其功率，计算其无功功率上下限；根据线性化分布式潮流模型计算下一时刻的逆变器的最优无功功率设定值。本发明专利技术将传统的配网运营商设备和智能逆变器进行联合控制，以实现公平和高效的电压调节。压调节。压调节。

【技术实现步骤摘要】
一种基于深度强化Q学习的双时间尺度配网电压调节方法


[0001]本专利技术涉及配电网电压调节
，尤其是一种基于深度强化Q学习的双时间尺度配网电压调节方法。

技术介绍

[0002]随着分布式可再生能源渗透率逐渐升高，配电网中的电压波动变得更加频繁和剧烈，给配电网运行带来了挑战。传统的电压调节方案主要依赖于配网运营商拥有的设备，如负载变压器和并联电容器。然而，由于这些设备的响应时间较慢，而且并联电容器的开关动作是离散的，因此难以适应快速变化的负荷和发电工况。另一方面，现代分布式电源(如光伏系统和风力发电机)通常配备了智能逆变器，在毫秒级别调节无功功率输出，并且支持连续的功率调节。
[0003]在中国专利文献上公开的“基于云边协同的无功电压仿真系统和控制方法”，其公开号为CN115133542A，公开了基于云边协同的无功电压仿真系统和控制方法，可以有效验证云边协同算法的有效性，促进无功电压优化系统的发展。该仿真系统包括：数据生成模块、协议转换模块、云边协同模块和控制输出模块；但是公开号为CN115133542A的中国专利并未提出关于电网调节的具体算法，无法评价其响应时间。

技术实现思路

[0004]本专利技术解决了传统的电压调节方法设备响应时间慢且难以适应快速变化的负荷和发电工况的问题，提出一种基于深度强化Q学习的双时间尺度配网电压调节方法，将传统的配网运营商设备和智能逆变器进行联合控制，以实现公平和高效的电压调节。
[0005]为了实现上述目的，本专利技术采用以下技术方案：一种基于深度强化Q学习的双时间尺度配网电压调节方法，包括如下步骤：S1，初始化并联电容器，使其开关状态为全关或全开；S2，比较当前时刻和当前时间段的开始时刻，判断是否进入下一个时间段；若是，转到步骤S3；若否，转到步骤S5；S3，根据当前时间段的结束时刻，从变电站节点获取电网的总功率，计算电网的功率因数；S4，根据深度强化学习算法确定下一个时间段的并联电容器的开关状态；S5，根据当前时刻，从逆变器节点获取其有功功率和无功功率，计算其无功功率上下限；S6，根据线性化分布式潮流模型计算下一时刻的逆变器的最优无功功率设定值。
[0006]本专利技术中，通过控制中心来协调并联电容器和逆变器的控制，控制中心与所有的并联电容器和逆变器通过双向链路连接，可以发送控制指令和接收状态信息；控制中心还能从变电站节点获取电网的总有功功率和总无功功率；本专利技术适用于具有N+1个节点的分布式电网，包括有变电站节点和负荷节点，负荷节点有N个，每个负荷节点上安装有一个并
联电容器、一个逆变器或者负荷，但仅能选择其一。
[0007]作为优选，所述并联电容器的开关状态在每个时间段末确定，所述逆变器的无功功率设定值在每个时刻初确定。
[0008]本专利技术中，并联电容器的开关状态在设定的时间段末进行确定，而逆变器的无功功率设定值则在相应的时刻进行确定，围绕上述的原则进行分析和计算。
[0009]作为优选，所述步骤S4包括以下步骤：S41，根据当前时间段的并联电容器的开关状态，构建深度强化学习算法的状态向量；S42，根据DNN得到策略函数和值函数，利用状态向量和策略函数输出下一个时间段的并联电容器开关状态的概率分布，并得到开关状态；S43，将开关状态发送至相应节点，并在下一时间段执行；S44，根据电网的功率因数和预设的目标功率因数，计算下一个时间段的奖励值，并与当前时间段的状态向量、开关状态以及下一个时间段的状态向量构成转移元组，并存入经验回放池中；S45，从经验回放池中随机抽取一批转移元组，利用策略梯度法和值函数近似法更新DNN的参数。
[0010]本专利技术中，根据时间段的并联电容器开关状态、电网的功率因数以及之前各时间段的奖励值，来构建深度强化学习算法的状态向量；利用深度神经网络(DNN)近似深度强化学习算法的策略函数和值函数，结合状态向量和策略函数输出概率分布，根据概率分布采样得到开关状态；将开关状态发送至相应节点；同时，从变电站节点获取下一时间段电网的总有功功率和总无功功率，并计算电网的功率因数；根据电网的功率因数和预设目标功率因数，。最终构成有转移元组，并存入经验回收池之中；从经验回收池随机抽出一批转移元组，更新DNN的参数，以提高策略函数和值函数的性能。
[0011]作为优选，所述步骤S6包括以下步骤：S61：根据当前时刻的电网状态，利用线性化分布式潮流模型建立电压与无功功率之间的线性关系，即v
i
(t)＝a
i
+b
i
Q
g,i
(t)，其中a
i
和b
i
为与电网拓扑结构和参数相关的常数；S62：利用线性规划方法求解优化问题，该优化问题旨在最小化各个逆变器节点的电压偏差，同时满足逆变器的输出限制和线性化分布式潮流模型的约束；S63：得到下一时刻的逆变器的最优无功功率设定值，并将其发送给相应的节点。
[0012]本专利技术中，首先根据电网状态并且利用线性化分布式潮流模型建立电压和无功功率之间的线性关系，利用相应的约束求解设定的优化问题，得到下一时刻逆变器的最优无功功率设定值最终并发送到对应节点。
[0013]作为优选，所述优化问题具体为：所述约束为：
其中，t为当前时刻，t为下一时刻，Q
g
(t)为从逆变器节点获取的无功功率，v
i
为逆变器节点电压，v*为预设的目标电压值，为逆变器总个数。
[0014]本专利技术中，该优化问题旨在最小化各个逆变器节点的电压偏差，并满足逆变器的输出限制和线性化分布式潮流模型的约束。
[0015]作为优选，还包括以下步骤：S7，判断是否到达一天的最后一个时刻；若是，则结束；若否，转到步骤S2。
[0016]本专利技术中，将一天划分为若干个时间段，每个时间段划分为若干个时刻。
[0017]本专利技术的有益效果是：1、对于本专利技术的一种基于深度强化Q学习的双时间尺度配网电压调节方法，采用双时间尺度，即在短期时间尺度上(例如每小时或每天)利用深度强化学习算法确定并联电容器的开关状态，在实时时间尺度上(例如每几秒或每分钟)利用线性化分布式潮流模型计算逆变器的无功功率设定值。这样既可以充分利用两种设备的特性，又可以减少通信和计算开销；2、本专利技术利用策略梯度和值函数近似相结合的算法，来学习并联电容器的最优开关策略；该算法可以有效地处理高维连续、非线性、非凸的优化问题；该算法不需要预先知道电网的拓扑结构和参数，也不需要进行离线训练，而是通过与电网的实时交互来在线学习和适应；3、本专利技术利用线性化分布式潮流模型的优化方法，来计算逆变器的最优无功功率设定值；该方法可以有效地处理电网的非线性和非凸性，同时保证电压在合理范围内。该方法还可以考虑逆变器的输出限制和无功功率分配原则，以实现公平和高效的电压调节。
附图说明
[0018]图1是本专利技术一种基于深度强化Q学习的双时间尺度配网电压调节方法对应的分布式电网模型示意图；图2是本专利技术一种基于深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化Q学习的双时间尺度配网电压调节方法，其特征是，包括如下步骤：S1，初始化并联电容器，使其开关状态为全关或全开；S2，比较当前时刻和当前时间段的开始时刻，判断是否进入下一个时间段；若是，转到步骤S3；若否，转到步骤S5；S3，根据当前时间段的结束时刻，从变电站节点获取电网的总功率，计算电网的功率因数；S4，根据深度强化学习算法确定下一个时间段的并联电容器的开关状态；S5，根据当前时刻，从逆变器节点获取其有功功率和无功功率，计算其无功功率上下限；S6，根据线性化分布式潮流模型计算下一时刻的逆变器的最优无功功率设定值。2.根据权利要求1所述的基于深度强化Q学习的双时间尺度配网电压调节方法，其特征是，所述并联电容器的开关状态在每个时间段末确定，所述逆变器的无功功率设定值在每个时刻初确定。3.根据权利要求1或2所述的基于深度强化Q学习的双时间尺度配网电压调节方法，其特征是，所述步骤S4包括以下步骤：S41，根据当前时间段的并联电容器的开关状态，构建深度强化学习算法的状态向量；S42，根据DNN得到策略函数和值函数，利用状态向量和策略函数输出下一个时间段的并联电容器开关状态的概率分布，并得到开关状态；S43，将开关状态发送至相应节点，并在下一时间段执行；S44，根据电网的功率因数和预设的目标功率因数，计算下一个时间段的奖励值，并与当前时间段的状态向量、开关状态以及下一个时间段的状态向量构成转移元组，并存入经验回放池中；S45，从...

【专利技术属性】
技术研发人员：张明明，刘文旺，谢益峰，姚宝明，陈刚，汪泽州，邹健，童子奕，方李明，朱能飞，姜振宇，
申请(专利权)人：国网浙江省电力有限公司海盐县供电公司，
类型：发明
国别省市：