【技术实现步骤摘要】
本专利技术属于电网控制领域，尤其是涉及一种基于近端优化策略的有源配电网网损优化方法。
技术介绍
1、随着高比例分布式可再生能源并网、需求侧响应和新兴电力市场规则的陆续实施，传统配电网的安全性、稳定性、经济性正面临巨大的挑战。根据电力行业标准要求，现代电网设计原则要求电网在运行时可在n-1(以及部分n-2)故障后仍满足安全稳定性。而在极端情况下，局部扰动若控制不当，会蔓延到周边电网，造成连锁故障，最终导致大面积停电。配电网电压分布的随机性和动态性日益增加，严重威胁配电网的安全和经济运行。当前配电网无功电压调节手段通常仅针对本地设备进行优化，网络层面缺乏协同。由于配电网缺乏足够多的量测，导致在线建模与仿真分析困难，影响基于模型的无功电压控制策略，因此现有的无功电压控制系统难以适应，急需一种新的无功电压控制模式来提供快速准确的校正电压控制、降低网损，以提升配电网安全、经济性。
2、实时进行配电网无功电压安全评估并制定在线提供了一种控制方法，可以在电网发生故障情况下有效地了解风险。如公开号为cn108376986a的中国专利文献公开了一种配电网无功电压控制方法和装置；公开号为cn106208089a的中国专利文献公开了一种配电网电压无功补偿评价方法。
3、然而，配电网缺乏足够精确的实时模型和态势感知技术，阻碍了最优控制动作的实时制定。近些年研究人员提出了基于人工智能(ai)的方法，如决策树、随机森林、支持向量机和神经网络，可使用离线生成或采集到的实际数据训练智能体模型，用作实时应用。但现有方法大多数侧重于配电网在
技术实现思路
1、本专利技术提供了一种基于近端优化策略的有源配电网网损优化方法，可在满足电压安全约束条件下降低配电网网损，实现多目标在线无功电压控制，提升配网运行的安全性与经济性。
2、一种基于近端优化策略的有源配电网网损优化方法，其特征在于，包括以下步骤：
3、(1)将配电网的无功电压控制描述成马可夫决策过程(s,a,pa,ra)，其中，s代表系统状态空间；a代表控制集；pa代表系统在t时刻从当前状态st采用了控制动作at后转移到新状态st+1的概率；ra代表从当前状态s转移到新状态s’后，得到的奖励值，用来评估控制效果；
4、(2)配置有源配电网仿真环境，生成大量配电网运行方式场景来模拟配电网现实运行工况，基于马可夫决策过程获取对应的运行数据；
5、(3)基于深度学习和强化学习算法构建强化学习智能体，智能体从环境中获取系统状态s，同时给出控制动作a；环境在施加了该控制动作后将改变的系统状态s’和奖励值r输出给智能体；
6、(4)基于步骤(2)获取的运行数据，采用近端优化策略算法对强化学习智能体进行训练；
7、(5)利用训练好的强化学习智能体进行配电网网损和电压控制，智能体从环境中获取系统状态，同时给出控制动作。
8、进一步地，步骤(1)中，系统状态空间中的系统状态包含节点电压幅值、电压相角、线路有功功率、线路无功功率、发电机有功功率、发电机无功功率、负荷有功功率、负荷无功功率；
9、控制集中的控制动作包含发电机有功出力、机端电压设定值、电容电抗器投切、变压器分接头调整、可控负荷。
10、步骤(2)中，有源配电网仿真环境使用交流潮流求解器，交流潮流求解器提供了多个python api接口，用于提取和修改配电网信息，并执行大规模配电网运行方式仿真推演；
11、有源配电网仿真环境中，在指定范围内按既定规律改变配电网中的控制动作数据，进而进行交流潮流计算，从潮流解中获得系统的状态空间数据。
12、步骤(4)中，强化学习智能体训练开始时，智能体选择控制集中的随机动作，在不断与环境的交互过程中持续优化控制动作策略从而最大化期望的奖励值；
13、训练强化学习智能体的目的是为了得到最优的控制策略π，建立起系统状态与应采取控制动作之间的匹配关系。
14、步骤(4)中，对强化学习智能体进行训练的具体过程为：
15、(4-1)在初始化阶段，在强化学习智能体与电网仿真环境中的交流潮流求解器间建立连接，初始化强化学习智能体中各层神经网络的权重；
16、(4-2)根据获取的运行数据，按既定规律改变配电网中状态空间数据，进而进行交流潮流计算，从潮流解中获得控制空间数据；
17、(4-3)采用近端优化策略算法对强化学习智能体进行训练，强化学习智能体提供控制策略来降低配电网网损并满足电压安全约束，目标是使所有节点电压控制在安全范围内，并尽可能减少网络损耗；
18、使用奖励函数来评估性能，以判定智能体控制效果；当满足训练终止条件时，停止当前样本的控制迭代；
19、(4-4)在强化学习智能体训练过程中，以最大化智能体的奖励值为目标更新智能体中各层神经网络的权重。
20、步骤(4-3)中，训终止条件为：无电压安全问题、潮流求解发散或达到最大迭代次数。
21、采用近端优化策略算法具体为：
22、用于更新参数θ的策略梯度算法如下式所示，其中α为学习率
23、
24、
25、式中，表示参数θ的梯度；j(θ)表示参数θ的目标函数；vπ(s0)表示状态s0的值函数；eπ表示控制动作π的期望值；qπ(s,a)表示状态s和动作a组合的q函数值；πθ(a|s)表示动作a和状态s下的控制策略；
26、近端优化策略算法在参数更新时，利用公式(3)中定义的优势函数代替公式(1)中的动作值函数来减小估计的方差
27、adπ(s,a)＝qπ(s,a)-vπ(s) (3)
28、其次，近端优化策略算法在信任区域内更新参数，通过进一步将公式(1)中的j(θ)修改下式：
29、
30、
31、其中，θold为神经网络中的当前参数；λ调节更新信任域的大小；最小化操作符确保新策略不会因偏离旧策略太远而受益，从而调节参数的更新；当ad为正值时，如果πθ(a|s)增大，则目标j(θ)也增大，从而更倾向于旧策略，最小运算决定了上限，即(1+λ)ad。
32、使用两种类型的奖励函数来训练强化本文档来自技高网...
【技术保护点】
1.一种基于近端优化策略的有源配电网网损优化方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于近端优化策略的有源配电网网损优化方法，其特征在于，步骤(1)中，系统状态空间中的系统状态包含节点电压幅值、电压相角、线路有功功率、线路无功功率、发电机有功功率、发电机无功功率、负荷有功功率、负荷无功功率；
3.根据权利要求1所述的基于近端优化策略的有源配电网网损优化方法，其特征在于，步骤(2)中，有源配电网仿真环境使用交流潮流求解器，交流潮流求解器提供了多个PythonAPI接口，用于提取和修改配电网信息，并执行大规模配电网运行方式仿真推演；
4.根据权利要求1所述的基于近端优化策略的有源配电网网损优化方法，其特征在于，步骤(4)中，强化学习智能体训练开始时，智能体选择控制集中的随机动作，在不断与环境的交互过程中持续优化控制动作策略从而最大化期望的奖励值；
5.根据权利要求1所述的基于近端优化策略的有源配电网网损优化方法，其特征在于，步骤(4)中，对强化学习智能体进行训练的具体过程为：
6.根据权利要求5所述的基于近
7.根据权利要求5所述的基于近端优化策略的有源配电网网损优化方法，其特征在于，采用近端优化策略算法具体为：
8.根据权利要求5所述的基于近端优化策略的有源配电网网损优化方法，其特征在于，使用两种类型的奖励函数来训练强化学习智能体，包括指数函数和多项式函数，奖励值的计算公式如下：
...【技术特征摘要】
1.一种基于近端优化策略的有源配电网网损优化方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于近端优化策略的有源配电网网损优化方法，其特征在于，步骤(1)中，系统状态空间中的系统状态包含节点电压幅值、电压相角、线路有功功率、线路无功功率、发电机有功功率、发电机无功功率、负荷有功功率、负荷无功功率；
3.根据权利要求1所述的基于近端优化策略的有源配电网网损优化方法，其特征在于，步骤(2)中，有源配电网仿真环境使用交流潮流求解器，交流潮流求解器提供了多个pythonapi接口，用于提取和修改配电网信息，并执行大规模配电网运行方式仿真推演；
4.根据权利要求1所述的基于近端优化策略的有源配电网网损优化方法，其特征在于，步骤(4)中，强化学习智能体训练开始时，智能体...
【专利技术属性】
技术研发人员：朱炳铨，吴利锋，肖艳炜，
申请(专利权)人：国网浙江省电力有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。