基于深度强化学习的多端智能软开关电压控制方法技术

一种基于深度强化学习的多端智能软开关电压控制方法：根据选定的含多端智能软开关的柔性配电网，输入柔性配电网基本参数信息，以及光伏、风机和负荷曲线年历史运行数据；依据参数信息，形成基于多端智能软开关的柔性配电网电压控制马尔科夫决策过程，构建基于深度确定性策略梯度网络的智能体以及多端智能软开关有功动作掩模层和无功动作掩模层；依据基于深度确定性策略梯度网络的智能体与光伏、风机和负荷曲线年历史运行数据，对智能体进行离线训练；通过训练好的智能体，对配电网多端智能软开关进行调控，并给出多端智能软开关的控制策略，由多端智能软开关有功动作掩模层和无功动作掩模层处理，多端智能软开关执行。本发明专利技术能够保障电压的合理运行。能够保障电压的合理运行。能够保障电压的合理运行。

【技术实现步骤摘要】
基于深度强化学习的多端智能软开关电压控制方法


[0001]本专利技术涉及一种电压控制方法。特别是涉及一种基于深度强化学习的多端智能软开关电压控制方法。

技术介绍

[0002]以风机和光伏为代表的分布式电源广泛接入配电网，由于分布式电源出力的强不确定性，配电系统的电压越限问题日益突出。为解决由分布式电源引起的配电网电压波动问题，在以多端智能软开关(multi
‑
terminal soft open point，MSOP)为代表的先进电力电子设备的支撑下，配电网逐渐演变为高度灵活可控的柔性互联结构。MSOP支持精细可控的有功交换以及就地无功支撑，为配电网自适应电压管理奠定了物理基础。
[0003]如何有效应对分布式电源的随机波动，灵活调节MSOP的出力，从而缓解配电网电压波动问题成为了当前亟待解决的关键问题。传统的集中式优化方法难以自适应的应对分布式电源波动问题。在实际运行中，由于系统精确参数难以获得，基于物理模型的优化方法难以保证模型的准确性。深度强化学习作为一种自适应的，无模型的数据驱动方法，可以通过历史数据进行训练，优化调整控制策略，从而实时指导MSOP的运行，缓解电压波动问题。
[0004]目前配电网强化学习控制问题研究中动作空间各变量之间多相互独立，而在MSOP控制过程中，由于各个端口有功传输功率相互耦合，且有功/无功出力受容量约束，在构建动作空间时，各个动作变量之间具有较为复杂的耦合关系，目前尚无强化学习方法在MSOP电压控制问题的应用。

技术实现思路

[0005]本专利技术所要解决的技术问题是，为克服现有技术的不足，提供一种能够实现多端智能软开关出力的实时调节，保障电压合理运行的基于深度强化学习的多端智能软开关电压控制方法。
[0006]本专利技术所采用的技术方案是：一种基于深度强化学习的多端智能软开关电压控制方法，包括如下步骤：
[0007]1)根据选定的含多端智能软开关的柔性配电网，输入柔性配电网基本参数信息，包括柔性配电网的拓扑及参数信息、多端智能软开关的接入位置、容量和观测节点、负荷和分布式电源的接入位置、柔性配电网基准电压和基准功率，以及输入光伏、风机和负荷曲线年历史运行数据；
[0008]2)依据步骤1)提供的柔性配电网基本参数信息，形成基于多端智能软开关的柔性配电网电压控制马尔科夫决策过程，构建基于深度确定性策略梯度网络的智能体以及多端智能软开关有功动作掩模层和无功动作掩模层；
[0009]3)依据步骤2)中基于深度确定性策略梯度网络的智能体与步骤1)中提供的光伏、风机和负荷曲线年历史运行数据，对智能体进行离线训练，得到训练完成的智能体；
[0010]4)依据步骤3)中训练完成的智能体，对配电网多端智能软开关进行调控，智能体
依据实时输入的配电网状态，给出多端智能软开关的控制策略，并由步骤2)中的多端智能软开关有功动作掩模层和无功动作掩模层处理，下发至多端智能软开关执行。
[0011]步骤2)所述的基于多端智能软开关的柔性配电网电压控制马尔科夫决策过程表示为：
[0012]S＝{V
i
,P
i
,Q
i
|i∈Ω
O
}
ꢀꢀ
(1)
[0013][0014][0015]其中，表示状态空间集合；V
i
、P
i
和Q
i
分别表示节点i的电压幅值、注入有功功率、注入无功功率；Ω
O
表示观测节点的集合；表示动作空间集合；表示多端智能软开关换流器端口1,
…
,N
S
‑
1的直流侧有功功率，以智能软开关向交流侧节点注入有功功率为正方向；为表示多端智能软开关换流器端口1,
…
,N
S
‑
1的无功出力，以注入系统为正；r表示即时奖励；V0表示系统基准电压幅值。
[0016]步骤2)所述的多端智能软开关有功动作掩模层表示为：
[0017][0018]式中，P
A
表示多端智能软开关实际执行的有功动作向量；P表示智能体给出的原始有功动作向量；表示多端智能软开关换流器端口1,
…
,N
S
‑
1直流侧的有功功率大小，以多端智能软开关换流器端口向交流侧节点注入有功功率为正方向；表示多端智能软开关换流器端口j的直流侧有功功率大小；N
S
表示多端智能软开关换流器端口数量；表示可行动作域；表示不可行动作域；
[0019]由有功动作掩模层对智能体给出的原始有功动作向量通过公式(4)进行再处理，以满足多端智能软开关有功传输约束；其中，可行动作域是指智能体给出的有功动作向量中可行动作向量的集合，不可行动作域是指智能体给出的原始中不可行的动作向量的集合，可行动作域需要满足以下条件，反之，不可行动作域是指不满足如下条件的原始动作；
[0020][0021]式中，A
SOP
表示换流器的损耗系数；S
SOP
表示换流器的容量；P
jSOP,DC
表示多端智能软开关换流器j直流侧有功功率大小；N
s
表示多端智能软开关换流器端口数量；
[0022]考虑到多端智能软开关换流器端口的损耗，有功功率为系统注入多端智能软开关时，多端智能软开关换流器端口直流侧的实际功率上限应当小于额定容量，故式(5)中将多端智能软开关换流器端口直流侧的有功功率上限设置为(1
‑
A
SOP
)S
SOP
；
[0023]步骤2)所述的多端智能软开关无功动作掩模层表示为：
[0024][0025]式中，Q
bound,j
为多端智能软开关换流器端口j确定有功出力下的无功出力边界，j＝1,
…
,N
S
；N
S
表示多端智能软开关换流器端口数量；S
SOP
表示换流器的容量；P
jSOP,DC
表示多端智能软开关换流器端口j的直流侧有功功率大小；为智能体给出的多端智能软开关换流器端口j的原始无功出力；为多端智能软开关换流器端口j的实际无功出力；
[0026]根据有功动作掩模层处理后的有功动作向量，由无功动作掩模层对无功动作向量通过公式(6)进行处理，以满足多端智能软开关容量耦合约束。
[0027]步骤3)包括：
[0028](1)设置训练超参数，初始化当前动作网络参数θ、当前价值网络参数ω、目标动作网络参数θ
′
及目标价值网络参数ω
′
；
[0029](2)设置最大训练次数M；
[0030](3)智能体从柔性配电网模拟环境获取观测状态S；
[0031](4)当前动作网络根据观测状态S给出动作A，并由多端智能软开关有功动作掩模层和无功动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的多端智能软开关电压控制方法，其特征在于，包括如下步骤：1)根据选定的含多端智能软开关的柔性配电网，输入柔性配电网基本参数信息，包括柔性配电网的拓扑及参数信息、多端智能软开关的接入位置、容量和观测节点、负荷和分布式电源的接入位置、柔性配电网基准电压和基准功率，以及输入光伏、风机和负荷曲线年历史运行数据；2)依据步骤1)提供的柔性配电网基本参数信息，形成基于多端智能软开关的柔性配电网电压控制马尔科夫决策过程，构建基于深度确定性策略梯度网络的智能体以及多端智能软开关有功动作掩模层和无功动作掩模层；3)依据步骤2)中基于深度确定性策略梯度网络的智能体与步骤1)中提供的光伏、风机和负荷曲线年历史运行数据，对智能体进行离线训练，得到训练完成的智能体；4)依据步骤3)中训练完成的智能体，对配电网多端智能软开关进行调控，智能体依据实时输入的配电网状态，给出多端智能软开关的控制策略，并由步骤2)中的多端智能软开关有功动作掩模层和无功动作掩模层处理，下发至多端智能软开关执行。2.根据权利要求1所述的基于深度强化学习的多端智能软开关电压控制方法，其特征在于，步骤2)所述的基于多端智能软开关的柔性配电网电压控制马尔科夫决策过程表示为：为：为：其中，表示状态空间集合；V
i
、P
i
和Q
i
分别表示节点i的电压幅值、注入有功功率、注入无功功率；Ω
O
表示观测节点的集合；表示动作空间集合；表示多端智能软开关换流器端口1,
…
,N
S
‑
1的直流侧有功功率，以智能软开关向交流侧节点注入有功功率为正方向；为表示多端智能软开关换流器端口1,
…
,N
S
‑
1的无功出力，以注入系统为正；r表示即时奖励；V0表示系统基准电压幅值。3.根据权利要求1所述的基于深度强化学习的多端智能软开关电压控制方法，其特征在于，步骤2)所述的多端智能软开关有功动作掩模层表示为：式中，P
A
表示多端智能软开关实际执行的有功动作向量；P表示智能体给出的原始有功动作向量；表示多端智能软开关换流器端口1,
…
,N
S
‑
1直流侧的有功功率大小，以多端智能软开关换流器端口向交流侧节点注入有功功率为正方向；P
jSOP,DC
表示多端智能软开关换流器端口j的直流侧有功功率大小；N
S
表示多端智能软开关换流器端口
数量；表示可行动作域；表示不可行动作域；由有功动作掩模层对智能体给出的原始有功动作向量通过公式(4)进行再处理，以满足多端智能软开关有功传输约束；其中，可行动作域是指智能体给出的有功动作向量中可行动作向量的集合，不可行动作域是指智能体给出的原...

【专利技术属性】
技术研发人员：冀浩然，魏明江，李鹏，宋关羽，于浩，王成山，
申请(专利权)人：天津大学，
类型：发明
国别省市：