一种基于评估器和强化学习的配电网无功优化方法及装置制造方法及图纸

本发明专利技术公开了一种基于评估器和强化学习的配电网无功优化方法及装置,包括:获取配电网在目标历史时长内的多个投切控制策略及投切控制策略对应的实际网损和实际电压偏差；获取与每一个投切控制策略对应的配电网预设指标的参数特征；将每一个投切控制策略和对应的配电网预设指标的参数特征以及每一个投切控制策略对应的实际网损以及实际电压偏差作为输入参数，对网损评估器和电压偏差评估器进行训练，直至网损评估器输出的网损值满足网损收敛条件电压偏差评估器对应的电压偏差满足电压偏差收敛条件；根据配电网的实时响应和评估器得到的网损和电压偏差，通过设置合适的奖励值和强化学习训练，得到配电网的无功优化控制策略。

【技术实现步骤摘要】
一种基于评估器和强化学习的配电网无功优化方法及装置
本专利技术涉及配电网无功优化
，具体涉及一种基于深度学习网络的配电网评估器构建和基于强化学习的配电网无功优化方法及装置。
技术介绍
配电网无功优化是在保证系统安全、可靠运行的前提下，通过调节系统的发电机端电压、变压器分接头档位、无功补偿装置等设备，应用相关优化方法确定系统内各点的最优补偿容量、补偿方式，从而实现无功功率的合理分布，降低网损并提高电压质量。但现有配电网基础设施差、节点监控覆盖率低、潮流建模难度大，同时分布式电源、电动汽车等的大规模接入使得传统配电网逐步向有源配电网转变，增加了很多不确定因素，给配电系统优化控制带来极大困难。无功优化算法是配电网无功优化的关键，其中传统优化方法十分依赖电网模型结构，且寻优计算量大、决策时间长、收敛性和稳定性差，难以达到实时控制的要求增加了无功优化的难度。
技术实现思路
因此，本专利技术要解决的技术问题在于克服现有配电网无功优化难以实时控制做出对应决策缺陷，从而提供一种基于深度学习网络的配电网评估器构建和基于强化学习的配电网无功优化方法及装置。根据第一方面，本专利技术实施例公开了一种基于深度学习网络的配电网评估器构建方法，包括:获取配电网在目标历史时长内的多个投切控制策略及所述投切控制策略对应的实际网损和实际电压偏差；获取与每一个投切控制策略对应的配电网预设指标的参数特征；将每一个所述投切控制策略和对应的配电网预设指标的参数特征以及每一个投切控制策略对应的实际网损作为输入参数，对网损评估器进行训练，直至所述网损评估器输出的网损值满足网损收敛条件；将每一个所述投切控制策略和对应的配电网预设指标的参数特征以及每一个投切控制策略对应的实际电压偏差作为输入参数，对电压偏差评估器进行训练，直至所述电压偏差评估器对应的电压偏差满足电压偏差收敛条件，所述网损评估器和所述电压偏差评估器用于计算奖励值，并通过强化学习得到配电网的实时无功优化控制策略。可选地，所述预设指标包括：配电网的负荷功率、光伏发电出力以及充电站功率。可选地，述配电网预设指标的参数特征，包括：质心、离散度、上包络线、下包络线、中心线、上包络线与质心之差、下包络线与质心之差、包络线高度、中心线与质心之差中的任意一种或多种。根据第二方面，本专利技术实施例公开了一种基于强化学习的配电网无功优化方法，包括：获取下一时刻的配电网预设指标的参数特征，所述下一时刻的配电网预设指标的参数特征由上一时刻配电网的投切控制策略输入到实际电力系统得到；将所述配电网预设指标的参数特征输入到预设控制策略智能体，得到当前时刻配电网投切控制策略；将所述投切控制策略以及与所述投切控制策略对应的配电网预设指标的参数特征输入到利用如第一方面或第一方面任一可选实施方式所述的基于深度学习网络的配电网评估器构建方法构建得到的网损评估器和电压偏差评估器；将所述网损评估器输出的网损值和所述电压偏差评估器输出的电压偏差值作为奖励值反馈给所述预设控制策略智能体，通过强化学习训练使得所述预设控制策略智能体根据所述奖励值进行训练并更新自身网络参数，将所述预设控制策略智能体新输出的投切控制策略输入到实际电力系统中；重复所述获取下一时刻的配电网预设指标的参数特征到将所述网损评估器输出的网损值和所述电压偏差评估器输出的电压偏差值作为奖励值反馈给所述预设控制策略智能体，通过强化学习训练使得所述预设控制策略智能体根据所述奖励值进行训练并更新自身网络参数，将所述预设控制策略智能体新输出的投切控制策略输入到实际电力系统中的步骤，直至所述奖励值满足目标条件。可选地，所述奖励值根据下述公式计算得到：式中：ri为第i时刻的奖励值；为系统第i时刻的线路损耗；为系统第i时刻的电压偏差；ULi、ULimax、ULimin分别是负荷节点电压及其上、下限；η为电压越限的惩罚值。根据第三方面，本专利技术实施例还公开了一种基于深度学习网络的配电网评估器构建装置，包括：获取投切控制策略模块，用于获取配电网在目标历史时长内的多个投切控制策略及所述投切控制策略对应的网络损耗和电压偏差；获取参数特征模块，用于获取与每一个投切控制策略对应的配电网预设指标的参数特征，所述预设指标包括：配电网的负荷功率、光伏发电出力以及充电站功率；网损训练模块,用于将每一个所述投切控制策略和对应的配电网预设指标的参数特征以及每一个投切控制策略对应的实际网损作为输入参数，对网损评估器进行训练，直至所述网损评估器输出的网损值满足网损收敛条件；电压偏差训练模块,用于将每一个所述投切控制策略和对应的配电网预设指标的参数特征以及每一个投切控制策略对应的实际电压偏差作为输入参数，对电压偏差评估器进行训练，直至所述电压偏差评估器对应的电压偏差满足电压偏差收敛条件，所述网损评估器和所述电压偏差评估器用于计算奖励值，并通过强化学习得到配电网的实时无功优化控制策略。根据第四方面，本专利技术实施例还公开了一种基于强化学习的配电网无功优化装置，包括：下一时刻参数特征获取模块，用于获取下一时刻的配电网预设指标的参数特征，所述下一时刻的配电网预设指标的参数特征由上一时刻配电网的投切控制策略输入到实际电力系统得到；输入模块，用于将所述配电网预设指标的参数特征输入到预设控制策略智能体，得到当前时刻配电网投切控制策略；构建模块，用于将所述投切控制策略以及与所述投切控制策略对应的配电网预设指标的参数特征输入到利用如第一方面或第一方面任一可选实施方式所述的基于深度学习网络的配电网评估器构建方法构建得到的网损评估器和电压偏差评估器；反馈模块，用于将所述网损评估器输出的网损值和所述电压偏差评估器输出的电压偏差值作为奖励值反馈给所述预设控制策略智能体，通过强化学习训练使得所述预设控制策略智能体根据所述奖励值进行训练并更新自身网络参数，将所述预设控制策略智能体新输出的投切控制策略输入到实际电力系统中；训练模块，用于重复所述获取下一时刻的配电网预设指标的参数特征到将所述网损评估器输出的网损值和所述电压偏差评估器输出的电压偏差值作为奖励值反馈给所述预设控制策略智能体，通过强化学习训练使得所述预设控制策略智能体根据所述奖励值进行训练并更新自身网络参数，将所述预设控制策略智能体新输出的投切控制策略输入到实际电力系统中的步骤，直至所述奖励值满足目标条件。可选地，所述奖励值根据下述公式计算得到：式中：ri为第i时刻的奖励值；为系统第i时刻的线路损耗；为系统第i时刻的电压偏差；ULi、ULimax、ULimin分别是负荷节点电压及其上、下限；η为电压越限的惩罚值。根据第五方面，本专利技术实施例还公开了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如第一方面或第一方面任一可选实施方式所述的基于深度学习网络的配电网评估器构建方法步骤或者如第二方面或第二方面任一可选实施方式所述的基于强化学习的配电网无功优化方法的步骤。根据第六本文档来自技高网...

【技术保护点】
1.一种基于深度学习网络的配电网评估器构建方法，其特征在于，包括：/n获取配电网在目标历史时长内的多个投切控制策略及所述投切控制策略对应的实际网损和实际电压偏差；/n获取与每一个投切控制策略对应的配电网预设指标的参数特征；/n将每一个所述投切控制策略和对应的配电网预设指标的参数特征以及每一个投切控制策略对应的实际网损作为输入参数，对网损评估器进行训练，直至所述网损评估器输出的网损值满足网损收敛条件；/n将每一个所述投切控制策略和对应的配电网预设指标的参数特征以及每一个投切控制策略对应的实际电压偏差作为输入参数，对电压偏差评估器进行训练，直至所述电压偏差评估器对应的电压偏差满足电压偏差收敛条件，所述网损评估器和所述电压偏差评估器用于计算奖励值，并通过强化学习得到配电网的实时无功优化控制策略。/n

【技术特征摘要】
1.一种基于深度学习网络的配电网评估器构建方法，其特征在于，包括：
获取配电网在目标历史时长内的多个投切控制策略及所述投切控制策略对应的实际网损和实际电压偏差；
获取与每一个投切控制策略对应的配电网预设指标的参数特征；
将每一个所述投切控制策略和对应的配电网预设指标的参数特征以及每一个投切控制策略对应的实际网损作为输入参数，对网损评估器进行训练，直至所述网损评估器输出的网损值满足网损收敛条件；
将每一个所述投切控制策略和对应的配电网预设指标的参数特征以及每一个投切控制策略对应的实际电压偏差作为输入参数，对电压偏差评估器进行训练，直至所述电压偏差评估器对应的电压偏差满足电压偏差收敛条件，所述网损评估器和所述电压偏差评估器用于计算奖励值，并通过强化学习得到配电网的实时无功优化控制策略。


2.根据权利要求1所述的方法，其特征在于，所述预设指标包括：配电网的负荷功率、光伏发电出力以及充电站功率。


3.根据权利要求2所述的方法，其特征在于，所述配电网预设指标的参数特征包括：质心、离散度、上包络线、下包络线、中心线、上包络线与质心之差、下包络线与质心之差、包络线高度、中心线与质心之差中的任意一种或多种。


4.一种基于强化学习的配电网无功优化方法，其特征在于，包括：
获取下一时刻的配电网预设指标的参数特征，所述下一时刻的配电网预设指标的参数特征由上一时刻配电网的投切控制策略输入到实际电力系统得到；
将所述配电网预设指标的参数特征输入到预设控制策略智能体，得到当前时刻配电网投切控制策略；
将所述投切控制策略以及与所述投切控制策略对应的配电网预设指标的参数特征输入到利用如权利要求1-3中任一项所述的配电网评估器构建方法构建得到的网损评估器和电压偏差评估器；
将所述网损评估器输出的网损值和所述电压偏差评估器输出的电压偏差值作为奖励值反馈给所述预设控制策略智能体，通过强化学习训练使得所述预设控制策略智能体根据所述奖励值进行训练并更新自身网络参数，将所述预设控制策略智能体新输出的投切控制策略输入到实际电力系统中；
重复所述获取下一时刻的配电网预设指标的参数特征到将所述网损评估器输出的网损值和所述电压偏差评估器输出的电压偏差值作为奖励值反馈给所述预设控制策略智能体，通过强化学习训练使得所述预设控制策略智能体根据所述奖励值进行训练并更新自身网络参数，将所述预设控制策略智能体新输出的投切控制策略输入到实际电力系统中的步骤，直至所述奖励值满足目标条件。


5.根据权利要求4所述的方法，其特征在于，所述奖励值根据下述公式计算得到：



式中：ri为第i时刻的奖励值；为配电网第i时刻的网损；为配电网第i时刻的电压偏差；ULi、ULimax、ULimin分别是负荷节点电压及其上、下限；η为电压越限的惩罚值。


6.一种基于深度学习网络的配电网评估器构建装置，其特征在于，包括：
投切控制策略获取模块，用于获取配电网在目标历史时长内的多个投切控制策略及所述投切控制策略对应的实际网损和实际电压偏差；
参数...

【专利技术属性】
技术研发人员：李文升，赵龙，郑志杰，梁荣，綦陆杰，杨波，杨扬，李昭，王耀雷，刘钊，崔灿，王延朔，赵韧，刘淑莉，李昊，杨慎全，张雯，李凯，邓少治，张博颐，
申请(专利权)人：国网山东省电力公司经济技术研究院，国家电网有限公司，
类型：发明
国别省市：山东;37