【技术实现步骤摘要】
本专利技术涉及电力系统调度，具体涉及一种电力系统的电压控制方法、装置、设备及介质。
技术介绍
1、目前配电网中接入的分布式电源（distributed generator，dg）这类新能源的容量逐年增多，但新能源出力的随机性给配电网的安全稳定运行带来了严峻挑战，如何实现高比例新能源接入下配电网电压以此进行实时优化控制是目前业界亟待解决的重要课题。
技术实现思路
1、有鉴于此，本专利技术实施例提供了一种电力系统的电压控制方法、装置、设备及介质，以此解决现有技术中对于交流信号下降沿的校准精度不满足于要求的问题。
2、根据第一方面，本专利技术实施例提供了一种电力系统的电压控制方法，所述方法包括：
3、获取电力系统中分布式电源的电力运行数据；所述电力运行数据至少包括：负荷有功功率、负荷无功功率、分布式电源有功功率、电压幅值和电压相角；
4、将所述电力运行数据输入至训练好的电压控制模型中，得到由所述电压控制模型输出的电压控制方案；所述电压控制方案为调节分布式电源对应输出的无功功率以控制电压偏差最小化；
5、所述电压控制模型是基于历史电力运行数据，并基于马尔可夫决策和强化学习过程、离线的智能体基于行为策略对环境进行探索以及利用策略梯度算法训练网络参数后得到的。
6、结合第一方面，在第一方面第一实施方式中，所述电压控制模型是通过以下步骤训练得到的：
7、获取电力系统中分布式电源的历史电力运行数据，并基于历史电力运行数据，构建
8、基于马尔可夫决策和强化学习过程，确定最优潮流模型中的智能体、状态、观测、动作和奖励；所述智能体为所述电力系统中的所述分布式电源，且所述智能体与所述分布式电源一一对应；
9、构建所述电压控制模型的神经网络结构；
10、对智能体进行离线训练，并通过离线的智能体与环境不断交互，确定智能体的交互记录；
11、通过经验回放从所述交互记录中抽取得到样本，并基于样本以及策略梯度算法更新神经网络参数。
12、结合第一方面第一实施方式，在第一方面第二实施方式中，所述电压控制模型包括：与所述智能体数量相等且与所述智能体一一对应的策略网络层以及一个全局价值网络层；
13、所述全局价值网络层的输入端与所述策略网络层的输出端连接，且，所述策略网络层和所述全局价值网络层均由全连接神经网络组成；
14、所述策略网络层用于根据环境中智能体所在区域的局部观测生成个体动作；所述全局价值网络层用于根据状态对所有智能体的动作进行打分以确定全局价值。
15、结合第一方面第二实施方式，在第一方面第三实施方式中，所述电压控制模型还包括：与所述智能体数量相等且与所述智能体一一对应的目标策略网络层以及一个目标价值网络层；
16、所述目标策略网络层与所述策略网络层一一对应，所述目标策略网络层与相对应的所述策略网络层连接；所述目标价值网络层与所述全局价值网络层相对应且连接；
17、所述目标策略网络层和所述目标价值网络层均由全连接神经网络组成。
18、结合第一方面第一实施方式，在第一方面第四实施方式中，所述基于马尔可夫决策和强化学习过程，确定最优潮流模型中的智能体、环境、状态、动作和奖励，具体包括：
19、确定智能体和环境；所述环境为电力系统的配电网环境，所述智能体为电力系统中的分布式电源；
20、确定状态；所述状态为节点特征量，所述节点特征量至少包括：负荷有功功率、负荷无功功率、分布式电源有功功率、电压幅值和电压相角；
21、确定观测；所述观测是由各个智能体的局部观测组成的，所述局部观测为智能体观测到所在区域内的节点特征量；
22、确定动作；所述动作是由各个智能体的个体动作组成的，所述个体动作为智能体在当前时刻对应的分布式电源无功功率；
23、确定奖励；各个智能体之间为完全合作关系且共享奖励。
24、结合第一方面第四实施方式，在第一方面第五实施方式中，所述对智能体进行离线训练，并通过离线的智能体与环境不断交互，确定智能体的交互记录，具体包括：
25、确定智能体对应的所述策略网络层输出的所述个体动作，并为所述个体动作添加噪声；所述噪声是从均值设置为0、标准差设置为预设值的高斯分布中随机抽取得到的；
26、对智能体进行离线训练，记录离线的智能体与环境交互产生的交互记录；所述交互记录包括智能体在当前时刻的状态、当前时刻的观测、当前时刻的动作、当前时刻的奖励、当前时刻相邻的下一时刻的状态以及当前时刻相邻的下一时刻的观测。
27、结合第一方面第一实施方式，在第一方面第六实施方式中，通过经验回放从所述交互记录中抽取得到样本，并基于样本以及策略梯度算法更新神经网络参数，具体包括：
28、将所述交互记录存入经验回放数组中，并从经验回放数组中抽取至少一条交互记录作为样本；
29、由样本中智能体当前时刻相邻的下一时刻的观测并根据相应的目标策略层和目标价值网络层，依次确定当前时刻相邻的下一时刻的目标个体动作和目标价值，并根据当前时刻相邻的下一时刻的目标个体动作和目标价值确定当前时刻的时间差分目标；
30、由样本中智能体的状态和动作，通过全局价值网络层确定智能体当前时刻的价值，并根据当前时刻的价值和时间差分目标确定时间差分误差；
31、根据样本中各个智能体分别对应的时间差分误差，利用梯度下降算法更新全局价值网络层的网络参数；
32、由样本中智能体当前时刻的观测，利用策略网络层确定智能体确定当前时刻的动作，结合样本中该智能体以外智能体的历史动作，确定当前时刻的价值；
33、根据链式法则确定样本中智能体的策略梯度，由样本中各个智能体对应策略梯度的均值，结合梯度上升算法更新策略网络层的网络参数；
34、基于预设的软更新因子，利用软更新算法更新目标策略网络层和目标价值网络层的网络参数。
35、根据第二方面，本专利技术实施例还提供了一种电力系统的电压控制装置，所述装置包括：
36、获取模块，用于获取电力系统中分布式电源的电力运行数据；所述电力运行数据至少包括：负荷有功功率、负荷无功功率、分布式电源有功功率、分布式电源无功功率、电压幅值和电压相角；
37、控制模块，用于将所述电力运行数据输入至训练好的电压控制模型中，得到由所述电压控制模型输出的电压控制方案；所述电压控制方案为调节分布式电源对应输出的无功功率以控制电压偏差最小化；
38、所述电压控制模型是基于历史电力运行数据，并基于马尔可夫决策和强化学习过程、利用行为策略进行探索以及利用策略梯度算法训练网络参数后得到的。
39、根据第三方面，本专利技术实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上本文档来自技高网...
【技术保护点】
1.一种电力系统的电压控制方法，其特征在于，所述方法包括：
2.根据权利要求1所述的电力系统的电压控制方法，其特征在于，所述电压控制模型包括：与所述智能体数量相等且与所述智能体一一对应的策略网络层以及一个全局价值网络层；
3.根据权利要求2所述的电力系统的电压控制方法，其特征在于，所述电压控制模型还包括：与所述智能体数量相等且与所述智能体一一对应的目标策略网络层以及一个目标价值网络层；
4.根据权利要求2所述的电力系统的电压控制方法，其特征在于，所述基于马尔可夫决策和强化学习过程，确定最优潮流模型中的智能体、环境、状态、动作和奖励，具体包括：
5.根据权利要求4所述的电力系统的电压控制方法，其特征在于，所述对智能体进行离线训练，并通过离线的智能体与环境不断交互，确定智能体的交互记录，具体包括：
6.根据权利要求1所述的电力系统的电压控制方法，其特征在于，通过经验回放从所述交互记录中抽取得到样本，并基于样本以及策略梯度算法更新神经网络参数，具体包括：
7.一种电力系统的电压控制装置，其特征在于，所述装置包括：<...
【技术特征摘要】
1.一种电力系统的电压控制方法，其特征在于，所述方法包括：
2.根据权利要求1所述的电力系统的电压控制方法，其特征在于，所述电压控制模型包括：与所述智能体数量相等且与所述智能体一一对应的策略网络层以及一个全局价值网络层；
3.根据权利要求2所述的电力系统的电压控制方法，其特征在于，所述电压控制模型还包括：与所述智能体数量相等且与所述智能体一一对应的目标策略网络层以及一个目标价值网络层；
4.根据权利要求2所述的电力系统的电压控制方法，其特征在于，所述基于马尔可夫决策和强化学习过程，确定最优潮流模型中的智能体、环境、状态、动作和奖励，具体包括：
5.根据权利要求4所述的电力系统的电压控制方法，其特征在于，所述对智能体进行离线训练...
【专利技术属性】
技术研发人员：沈增祥，陈晓峰，陈飘，钟灵军，赵银龙，
申请(专利权)人：杭州鸿晟电力设计咨询有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。