基于强化学习算法的配电网继电保护人工智能整定方法技术

本发明专利技术涉及一种基于强化学习算法的配电网继电保护人工智能整定方法，其技术特点是：根据配电网继电保护的基本性质建立奖励函数；根据奖励函数计算配电网中各个断路器的奖励值并填入Q

【技术实现步骤摘要】
基于强化学习算法的配电网继电保护人工智能整定方法


[0001]本专利技术属于配电网
，涉及配电网中的继电保护方法，尤其是一种基于强化学习算法的配电网继电保护人工智能整定方法。

技术介绍

[0002]电力系统与工业生产、人们的生活密切相关，如何保障电网的安全稳定运行就显得尤为重要。当电网发生短路、断线等故障时，就要采取相关措施，使系统以尽量小的代价恢复到稳定运行状态。作用于电力系统单个元件的继电保护装置就是这些措施中最为重要的一种。当电网发生短路故障时，安装于系统各个元件上的有着相互配合关系的保护装置判别出发生故障的元件，并迅速将故障元件从系统中隔离出来，使得系统剩余部分能正常运行。要使得电网中的保护装置能够正确地动作，就必须使各个保护装置间在定值和动作时间上根据相关规则保持正确的配合关系，也就是要做好电网继电保护装置的整定计算工作。
[0003]目前，配电网继电保护定值整定通常采用了人工计算的方法，这种人工计算方法不但计算量大，而且在遇到电网结构复杂、断路器数量较多时，定值难以准确及时地计算出来，经常会出现定值失配的问题，整定结果往往无法满足对继电保护速动性、选择性、灵敏性的要求，进而导致的配电网越级跳闸、故障无法切除、切除时间过长等问题。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足，提供一种设计合理、准确性高且提高效率的基于强化学习算法的配电网继电保护人工智能整定方法，本专利技术解决现有的技术问题是采取以下技术方案实现的：一种基于强化学习算法的配电网继电保护人工智能整定方法，包括以下步骤：步骤1、根据配电网继电保护的基本性质，建立奖励函数；步骤2、根据奖励函数，计算配电网中各个断路器的奖励值并填入Q
‑
Table表中，从而建立强化学习算法中的Q
‑
Table表格；步骤3、采用贝尔曼方程对Q
‑
Table表格中的Q值进行迭代,所述Q值为断路器的奖励值；步骤4、对Q
‑
Table表格中的Q值全部迭代结束后，将最后一次迭代的状态量设为配电网断路器的最终定值。
[0005]而且，所述步骤1建立的奖励函数P
x
为：式中，P
sel
为选择性的奖励函数，P
sen
为灵敏性的奖励函数，P
spe
为速动性的奖励函数。
[0006]而且，所述选择性的奖励函数P
sel
为：
式中，X
sel
=0/1/2表示主低开关跳闸/正确跳闸/越级跳闸，表示选择性惩罚值，表示主低开关跳闸惩戒系数，表示选择性奖励值，、分别表示当前损失负荷、最小损失负荷；W
max
表示线路总负荷；所述灵敏性的奖励函数P
sen
为：式中，X
sen
=0/1表示故障未切除/切除；表示灵敏性惩罚值；所述速动性的奖励函数P
spe
为：式中，表示故障切除时间/最大时间；表示速动性奖励值。
[0007]而且，所述选择性惩罚值取值为
‑
1，所述主低开关跳闸惩戒系数取值为100，所述选择性奖励值取值为5，所述灵敏性惩罚值取值为
‑
100，所述速动性奖励值取值为2。
[0008]而且，所述步骤2的具体实现方法包括以下步骤：
⑴
进行状态划分，将断路器进行分级；
⑵
进行行为划分，给当前断路器进行赋值；
⑶
计算环境对赋值的反馈；
⑷
根据环境对赋值的反馈，计算当前级数所有断路器的总奖励值∑Px；
⑸
将总奖励值∑Px填入Q
‑
Table表中对应的位置中。
[0009]而且，所述状态划分的方法为：从变电站出线断路器开始，按照潮流方向逐级遍历全网，将各级断路器的定值为S1、S2、S3
……
SN。
[0010]而且，所述行为划分的公式为：I
n
表示当前断路器的定值赋值，赋值应满足I
min
≤I
n
≤I
max
，其中I
min
、I
max
分别表示本线路出现的最小短路电流和最大短路电流，k表示步长，n为行为编号；所述行为划分的具体过程为：
⑴
计算本线路出现的最大短路电流I
max
和最小短路电流I
min
；
⑵
根据计算精度要求设置k值，k=100；
⑶
根据如下公式计算：，，
……
，。
[0011]而且，所述贝尔曼方程为：式中,表示当前Q
‑
Table表中第s行a列的值，表示未来Q
‑
Table表中第s行a列所有的值中的最大值；表示未来奖励的衰减值；表示学习率。
[0012]本专利技术的优点和积极效果是：1、本专利技术采用基于强化学习算法的人工智能整定方法，能够快速准确地计算出配电网断路器的最终定值，从而实现配电网继电保护定值的自动整定功能，提高了配电网定值整定效率，降低了从业人员的工作量，有效地解决了传统整定处理过程中难以计算定值导致因定值失配导致的整定结果劣化的问题，提高了整定定值对速动性、选择性、灵敏性的适应程度，进而解决因定值劣化导致的配电网越级跳闸、故障无法切除、切除时间过长等问题。
[0013]2、本专利技术以断路器的分级级数为基础进行状态划分，以定值的赋值作为行为的划分，并限定了行为的上下限，从断路器跳闸定值对继电保护灵敏性、速动性、选择性满足情况的角度建立了强化学习算法中的奖励函数，其整定结果更加准确可靠，满足了实际应用的需要。
附图说明
[0014]图1为本专利技术给出的断路器分级示意图；图2为本专利技术的Q
‑
Table表建立的流程图；图3为本专利技术建立的Q
‑
Table表；图4为本专利技术的断路器分级表；图5为本专利技术的计算各Q值后的Q
‑
Table表；图6为本专利技术的断路器定值表。
具体实施方式
[0015]以下结合附图对本专利技术实施例做进一步详述。
[0016]一种基于强化学习算法的配电网继电保护人工智能整定方法，包括以下步骤：步骤1、根据配电网继电保护的基本性质，建立奖励函数。
[0017]本专利技术根据配电网继电保护的基本性质来设置奖惩，奖励值的大小应能反应在当前定值设置的合理性。配电网继电保护的基本性质包括：
（1）选择性：环境数据应有拓扑关系，故障点的上游，距离故障点最近断路器定义为“应动作”的断路器，此断路器正确跳开时得到的奖励为最高奖励，而后根据负荷损失情况给出越级跳闸时的不同奖励值。当出现越级引起主变低压侧开关变电站出现开关（可选）跳闸时，应加大惩戒。选择性的奖励函数为：式中，X
sel
=0/1/2表示主低开关跳闸/正确跳闸/越级跳闸，表示选本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习算法的配电网继电保护人工智能整定方法，其特征在于：包括以下步骤：步骤1、根据配电网继电保护的基本性质，建立奖励函数；步骤2、根据奖励函数，计算配电网中各个断路器的奖励值并填入Q
‑
Table表中，从而建立强化学习算法中的Q
‑
Table表格；步骤3、采用贝尔曼方程对Q
‑
Table表格中的Q值进行迭代,所述Q值为断路器的奖励值；步骤4、对Q
‑
Table表格中的Q值全部迭代结束后，将最后一次迭代的状态量设为配电网断路器的最终定值。2.根据权利要求1所述的基于强化学习算法的配电网继电保护人工智能整定方法，其特征在于：所述步骤1建立的奖励函数P
x
为：式中，P
sel
为选择性的奖励函数，P
sen
为灵敏性的奖励函数，P
spe
为速动性的奖励函数。3.根据权利要求2所述的基于强化学习算法的配电网继电保护人工智能整定方法，其特征在于：所述选择性的奖励函数P
sel
为：式中，X
sel
=0/1/2表示主低开关跳闸/正确跳闸/越级跳闸，表示选择性惩罚值，表示主低开关跳闸惩戒系数，表示选择性奖励值，、分别表示当前损失负荷、最小损失负荷；W
max
表示线路总负荷；所述灵敏性的奖励函数P
sen
为：式中，X
sen
=0/1表示故障未切除/切除；表示灵敏性惩罚值；所述速动性的奖励函数P
spe
为：式中，表示故障切除时间/最大时间；表示速动性奖励值。4.根据权利要求3所述的基于强化学习算法的配电网继电保护人工智能整定方法，其特征在于：所述选择性惩罚值取值为
‑
1，所述主低开关跳闸惩戒系数取值为100，所述选择性奖励值取值为5，所述灵敏性惩罚值取值为
‑
100，所述速动性奖励值取值为2。

【专利技术属性】
技术研发人员：蔺维维，张永伍，杨畅，王洋，胡静娴，赵若阳，齐昕，段佳莉，王新铭，王志远，胡宗栩，拱志新，王海波，王冲，杜明，
申请(专利权)人：国网天津市电力公司国家电网有限公司，
类型：发明
国别省市：