一种基于人工神经网络及深度强化学习的AVC智能控制方法技术

本发明专利技术公开了一种基于人工神经网络及深度强化学习的AVC智能控制方法，包括，结合电网无功负荷的态势预测结果和新能源并网的点的无功负荷变化规律，将变电站分为不同的子控制区域；基于贝尔曼方程和最小化损失函数优化动作效用函数，并结合所述动作效用函数获得决策度量函数；通过利用所述决策度量函数的梯度优化智能体的决策模型参数，训练智能体；将所述不同子区域的态势预测结果和新能源无功变化规律输入到所述智能体，通过所述智能体计算电力系统的电压控制量控制电网无功电压。本发明专利技术通过结合人工神经网络和确定性策略的多智能体强化学习算法训练智能体，提高了对无功电压的主动控制能力。的主动控制能力。的主动控制能力。

【技术实现步骤摘要】
一种基于人工神经网络及深度强化学习的AVC智能控制方法


[0001]本专利技术涉及电力控制的
，尤其涉及一种基于人工神经网络及深度强化学习的AVC智能控制方法。

技术介绍

[0002]电力系统作为复杂的人工信息物理系统，其稳定运行离不开人们的监视和控制，近年来，世界各国在电力系统的运行控制过程中，因态势感知不足而发生的大规模停电事故日益增多，电力系统广域态势感知得到越来越多的关注；电力系统广域态势感知通过采集广域电网稳态和动态、电量和非电量信息，包括：设备状态信息、电网稳态数据信息、电网动态数据信息、电网暂态故障信息、电网运行环境信息等，采用广域动态安全监测、数据挖掘、动态参数辨识、超实时仿真、可视化等手段，进行分析、理解和评估，进而对电网发展态势进行预测；态势感知技术在电力系统中的应用尚处于起步阶段，美国联邦能源管理委员会及国家标准和技术学会等机构已将态势感知列为智能电网优先支持的
之一。
[0003]随着大规模新能源接入和交直流混联电网的快速发展，源
‑
荷双侧不确定性增强，系统无功电压问题日益突出，给电网安全运行带来挑战；目前无功优化控制属于短时间尺度下的系统全局优化，控制决策并不具备主动性和预见性，没有充分考虑到长时间尺度下的新能源、无功负荷的不确定性对无功电压控制的影响，从而导致无功设备的频繁调节，在长时间尺度下总体控制效果并不理想。

技术实现思路

[0004]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0005]鉴于上述现有存在的问题，提出了本专利技术。
[0006]因此，本专利技术提供了一种基于人工神经网络及深度强化学习的AVC智能控制方法，能够避免无功电压风险，解决无功电压主动控制效果差的问题。
[0007]为解决上述技术问题，本专利技术提供如下技术方案：包括，结合电网无功负荷的态势预测结果和新能源并网的点的无功负荷变化规律，将变电站分为不同的子控制区域；基于贝尔曼方程和最小化损失函数优化动作效用函数，并结合所述动作效用函数获得决策度量函数；通过利用所述决策度量函数的梯度优化智能体的决策模型参数，训练智能体；将所述不同子区域的态势预测结果和新能源无功变化规律输入到所述智能体，通过所述智能体计算电力系统的电压控制量控制电网无功电压。
[0008]作为本专利技术所述的基于人工神经网络及深度强化学习的AVC智能控制方法的一种优选方案，其中：所述态势预测结果包括，基于深度人工神经网络构建深度神经网络回归模型，并将所述深度神经网络回归模型的多个回归负荷结果进行整合，进而获得所述无功负荷的态势预测结果。
[0009]作为本专利技术所述的基于人工神经网络及深度强化学习的AVC智能控制方法的一种优选方案，其中：所述构建深度神经网络回归模型包括，基于无功负荷数据特征，考虑气候环境、季节、地区分布、用户负荷和电网调度控制策略，构建所述回归模型结构：
[0010][0011]其中，k为阶数；x
(k)
为k阶隐含层节点单元向量；y
(k)
为k阶输出节点向量；u
(k)
为k阶输入向量；为k阶反馈状态输入向量；为k阶反馈状态向量；为k阶隐含层输出向量；ω
i
为各层的连接权值矩阵，i＝1，2，3，4，5，6；g()为输出神经元的传递函数；f()为中间层神经元的传递函数。
[0012]作为本专利技术所述的基于人工神经网络及深度强化学习的AVC智能控制方法的一种优选方案，其中：所述回归模型结构还包括，
[0013][0014][0015][0016]其中，x
(k
‑
1)
为k
‑
1阶隐含层节点单元向量；为k
‑
1阶反馈状态向量；u
(k
‑
1)
为k
‑
1阶输入向量；为k
‑
1阶反馈状态输入向量；y
(k
‑
1)
为k
‑
1阶输出节点向量；为k
‑
1阶隐含层输出向量；η、为自反馈增益因子。
[0017]作为本专利技术所述的基于人工神经网络及深度强化学习的AVC智能控制方法的一种优选方案，其中：所述最小化损失函数包括，定义所述最小化损失函数：
[0018][0019]其中，为在自变量为训练参数时的最小化损失函数，E为期望值，s为当前的系统状态，s`为下一时刻的环境状态，a为相应状态下所选择的动作，为经验池，y
i
为通过所述贝尔曼方程对真实值的估计。
[0020]作为本专利技术所述的基于人工神经网络及深度强化学习的AVC智能控制方法的一种优选方案，其中：所述估计的真实值包括，
[0021][0022]其中，r
i
为为第i次迭代时取得的回报值；μ为决策值，γ表示衰减率，且所述γ∈[0,1]；Q
i
′
为下一状态目标Critic网络的Q值函数；s
′
为在所述系统状态s采取所述动作a进入的下一状态；a
′
为在所述系统状态s
′
下根据目标Actor网络选择的动作；
为所述目标Actor网络的参数；为目标Critic网络的参数。
[0023]作为本专利技术所述的基于人工神经网络及深度强化学习的AVC智能控制方法的一种优选方案，其中：所述目标Critic网络的参数和目标Actor网络的参数包括，通过实际Actor网络的参数进行参数更新：
[0024][0025]通过实际Critic网络的参数进行参数更新：
[0026][0027]其中，τ控制更新速度。
[0028]作为本专利技术所述的基于人工神经网络及深度强化学习的AVC智能控制方法的一种优选方案，其中：所述决策度量函数包括，定义所述动作效用函数Q
i
(s,a)为在所述系统状态s下，执行所述动作a后第i个区域的智能体后续获得的回报总和的期望，则所述决策度量函数为：
[0029][0030]作为本专利技术所述的基于人工神经网络及深度强化学习的AVC智能控制方法的一种优选方案，其中：所述决策度量函数的梯度包括，所述第i个区域智能体的决策函数参数的梯度为：
[0031][0032]其中，为函数求梯度的符号；a
i
表示第i次迭代的动作值；为所述动作效用函数迭代i次的梯度，为所述目标Actor网络迭代i次的梯度。
[0033]作为本专利技术所述的基于人工神经网络及深度强化学习的AVC智能控制方法的一种优选方案，其中：所述电压控制量包括，基于牛顿拉夫逊潮流计算，所述电压控制量的计算公式如下：
[0034][0035]其中，U为所述电压控质量，M
i
为电本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工神经网络及深度强化学习的AVC智能控制方法，其特征在于：包括，结合电网无功负荷的态势预测结果和新能源并网的点的无功负荷变化规律，将变电站分为不同的子控制区域；基于贝尔曼方程和最小化损失函数优化动作效用函数，并结合所述动作效用函数获得决策度量函数；通过利用所述决策度量函数的梯度优化智能体的决策模型参数，训练智能体；将所述不同子区域的态势预测结果和新能源无功变化规律输入到所述智能体，通过所述智能体计算电力系统的电压控制量控制电网无功电压。2.如权利要求1所述的基于人工神经网络及深度强化学习的AVC智能控制方法，其特征在于：所述态势预测结果包括，基于深度人工神经网络构建深度神经网络回归模型，并将所述深度神经网络回归模型的多个回归负荷结果进行整合，进而获得所述无功负荷的态势预测结果。3.如权利要求2所述的基于人工神经网络及深度强化学习的AVC智能控制方法，其特征在于：所述构建深度神经网络回归模型包括，基于无功负荷数据特征，考虑气候环境、季节、地区分布、用户负荷和电网调度控制策略，构建所述回归模型结构：略，构建所述回归模型结构：其中，k为阶数；x
(k)
为k阶隐含层节点单元向量；y
(k)
为k阶输出节点向量；u
(k)
为k阶输入向量；为k阶反馈状态输入向量；为k阶反馈状态向量；为k阶隐含层输出向量；ω
i
为各层的连接权值矩阵，i＝1，2，3，4，5，6；g()为输出神经元的传递函数；f()为中间层神经元的传递函数。4.如权利要求3所述的基于人工神经网络及深度强化学习的AVC智能控制方法，其特征在于：所述回归模型结构还包括，在于：所述回归模型结构还包括，在于：所述回归模型结构还包括，其中，x
(k
‑
1)
为k
‑
1阶隐含层节点单元向量；为k
‑
1阶反馈状态向量；u
(k
‑
1)
为k
‑
1阶输入向量；为k
‑
1阶反馈状态输入向量；y
(k
‑
1)
为k
‑
1阶输出节点向量；为k
‑
1阶隐含层输出向量；η、为自反馈增益因子。5.如权利要求1或2所述...

【专利技术属性】
技术研发人员：朱勇，陶用伟，王常沛，蒋宏荣，徐坤，李泽群，张韵，杨键，黄琼，杨晓燕，邓钦，郑华，高卫华，王秀境，时敏，李明宏，刘岑俐，肖彬，肖浩宇，王寅，曹杰，陈锐，苏华英，田年杰，代江，刘明顺，吴应双，龙秋风，张丹，欧阳可凤，汪明清，黄才云，潘云，王雨，陈愿米，付麟淞，舒晓晴，吴秋君，蒋进芳，顾本洪，唐洁瑶，廖玉琼，姚璐，肖倩宏，安甦，陈锦龙，
申请(专利权)人：贵州电网有限责任公司凯里供电局，
类型：发明
国别省市：