一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法技术

本发明专利技术涉及一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，该方法包括以下步骤：建立基于DDQN算法的配电网慢时间尺度电压控制模型；建立慢时间尺度电压控制的马尔可夫博弈过程；建立基于EA‑MASAC算法的配电网快时间尺度电压控制模型；建立快时间尺度电压控制马尔可夫博弈过程；分别求解所述配电网慢时间尺度电压控制模型和所述配电网快时间尺度电压控制模型，将求解出来的上层智能体的调度指令传输至下层智能体中，实现双时间尺度的电压协同控制。与现有技术相比，本发明专利技术具有不仅可以显著地降低配电网的网损，同时缓解了分布式电源接入配电网引起的电压波动等优点。

【技术实现步骤摘要】

本专利技术涉及电网配电领域，尤其是涉及一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法。

技术介绍

1、近年来，随着大量分布式电源接入配电网，电压越限问题频繁出现，这时单调控配电网的有功资源并不能保证配电网运行的安全性与经济性，需同时协调配电网有功和无功优化。传统配电网无功优化主要是控制有载调压变压器(oltc)、svc、开关电容器组(cbs)等无功设备来稳定系统电压。随着pv、wt大规模并入电网，电动汽车兴起，车联网技术(v2g)愈发成熟，分布式电源(distributed generator，dg)与电动汽车也可参与配电网电压调节。但是传统的基于物理模型的配网优化方法，其计算时间会随着配电网的大小和dg的数量呈指数形式增长。

2、目前，配电网有功无功优化方法主要有基于物理模型的优化法和数据驱动法两种。基于物理模型的配网优化方法，其计算时间会随着配电网的大小和dg的数量呈指数形式增长。数据驱动方法中，单一智能体深度强化学习算法鲁棒性差，学习效率低；多智能体深度强化学习(madrl)算法样本采样效率低，训练结果不稳定。数据增强技术可以本文档来自技高网...

【技术保护点】

1.一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，所述配电网慢时间尺度电压控制模型的电压控制优化目标函数为：配电网一天内网络损耗成本、电压偏差成本、离散设备的动作成本以及ES充放电成本最小，采用如下公式表示：

3.根据权利要求2所述的一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，所述配电网慢时间尺度电压控制模型的电压控制优化目标函数满足约束条件，包括：潮流约束、电压约束、OLTC与CBs分接头调节...

【技术特征摘要】

1.一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，所述配电网慢时间尺度电压控制模型的电压控制优化目标函数为：配电网一天内网络损耗成本、电压偏差成本、离散设备的动作成本以及es充放电成本最小，采用如下公式表示：

3.根据权利要求2所述的一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，所述配电网慢时间尺度电压控制模型的电压控制优化目标函数满足约束条件，包括：潮流约束、电压约束、oltc与cbs分接头调节约束、es约束。

4.根据权利要求3所述的一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，通过ddqn算法求解配电网慢时间尺度电压控制模型。

5.根据权利要求4所述的一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，对配电网慢时间尺度电压控制模型按照每小时进行调度。

6.根...

【专利技术属性】
技术研发人员：黄阮明，宋天立，李灏恩，费斐，戚宇辰，缪林鑫，王乐，张超立，赵晶晶，
申请(专利权)人：国网上海市电力公司，
类型：发明
国别省市：