【技术实现步骤摘要】
本专利技术涉及电网配电领域，尤其是涉及一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法。
技术介绍
1、近年来，随着大量分布式电源接入配电网，电压越限问题频繁出现，这时单调控配电网的有功资源并不能保证配电网运行的安全性与经济性，需同时协调配电网有功和无功优化。传统配电网无功优化主要是控制有载调压变压器(oltc)、svc、开关电容器组(cbs)等无功设备来稳定系统电压。随着pv、wt大规模并入电网，电动汽车兴起，车联网技术(v2g)愈发成熟，分布式电源(distributed generator，dg)与电动汽车也可参与配电网电压调节。但是传统的基于物理模型的配网优化方法，其计算时间会随着配电网的大小和dg的数量呈指数形式增长。
2、目前，配电网有功无功优化方法主要有基于物理模型的优化法和数据驱动法两种。基于物理模型的配网优化方法，其计算时间会随着配电网的大小和dg的数量呈指数形式增长。数据驱动方法中，单一智能体深度强化学习算法鲁棒性差，学习效率低；多智能体深度强化学习(madrl)算法样本采样效率低，训练结果不稳定。数据增强技术可以产生可靠的样本以扩大原始数据集，提高madrl算法训练效率，并且该技术已广泛用于单一智能体训练中，但多智能体算法中该技术较少见。因此，本专利技术提供一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法。
技术实现思路
1、本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多智能体深度强化学习的配电网双时间尺度电
2、本专利技术的目的可以通过以下技术方案来实现：
3、一方面，本专利技术提供了一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，该方法包括以下步骤：
4、步骤1、建立基于ddqn算法的配电网慢时间尺度电压控制模型；
5、步骤2、针对所述配电网慢时间尺度电压控制模型，建立慢时间尺度电压控制的马尔可夫博弈过程，包括将有载调压变压器(oltc)、开关电容器组(cbs)、储能(es)作为上层智能体，设置所述上层智能体的状态空间、动作空间和奖励函数；
6、步骤3、建立基于ea-masac算法的配电网快时间尺度电压控制模型；
7、步骤4、针对所述配电网快时间尺度电压控制模型，建立快时间尺度电压控制马尔可夫博弈过程，包括将分布式光伏(pv)、风机(wt)、电动汽车(ev)充电站、静止无功补偿装置(svc)作为下层智能体，设置所述下层智能体的状态空间、动作空间和奖励函数；
8、步骤5、分别求解所述配电网慢时间尺度电压控制模型和所述配电网快时间尺度电压控制模型，将求解出来的上层智能体的调度指令传输至下层智能体中，实现双时间尺度的电压协同控制。
9、进一步地，所述配电网慢时间尺度电压控制模型的电压控制优化目标函数包括：配电网一天内网络损耗成本、电压偏差成本、离散设备的动作成本以及es充放电成本最小，采用如下公式表示：
10、
11、其中：t为24小时；t为决策次数(t＝1,2,3...24)；closs为网损系数；ploss,t为第t次决策时配电网网损；ξ为电压偏差成本系数；vi,t、vi,n为第t次决策时节点i实际电压与额定电压；vmax与vmin为配电网安全运行的电压上下限；n为配电网节点数目；coltc,t、ccbs,t与ces,t为第t次决策时oltc、cbs的动作成本与es充放电成本。
12、进一步地，所述配电网慢时间尺度电压控制模型的电压控制优化目标函数满足约束条件，包括：潮流约束、电压约束、oltc与cbs分接头调节约束、es约束。
13、进一步地，通过ddqn算法求解配电网慢时间尺度电压控制模型。
14、进一步地，对配电网慢时间尺度电压控制模型按照每小时进行调度。
15、进一步地，所述配电网快时间尺度电压控制模型的电压控制优化目标函数为：配电网一个周期内的网损成本、电压偏差成本、pv与wt有功削减成本、ev充电站运行成本最小，采用如下公式表示：
16、
17、其中：closs为网损系数；ploss,δt为第δt次决策时配电网网损；ξ为电压偏差成本系数；vi,t、vi,n为第t次决策时节点i实际电压与额定电压；vmax与vmin为配电网安全运行的电压上下限；n为配电网节点数目；cpv、cwt为pv、wt有功削减成本系数；ctou为分时电价；为节点i在δt时刻pv与wt的有功削减量，为t时刻第x辆电动汽车的充电功率。
18、进一步地，所述配电网快时间尺度电压控制模型的电压控制优化目标函数满足约束条件，包括：pv、wt有功-无功约束，svc无功约束以及ev充电站有功约束。
19、进一步地，采用ea-masac算法求解配电网快时间尺度电压控制模型。
20、进一步地，对配电网快时间尺度电压控制模型按照每分钟进行调度。
21、第二方面，本专利技术提供了一种存储介质，其上存储有程序，所述程序被执行时实现上述所述的方法。
22、与现有技术相比，本专利技术具有以下有益效果：
23、1、本专利技术在快尺度电压控制模型中，将注意力机制与数据增强技术融入到ea-masac算法中，ea-masac算法对电压优化以及电力电子设备动作优化问题进行求解，与传统的电压/无功控制方法相比，该方法不仅可以调节电压同时，还可以降低整个系统的功率损耗，提高算法鲁棒性与训练过程中样本采样效率。
24、2、本专利技术设计了一个配电网双时间尺度有功-无功协调电压控制方法。慢时间尺度用ddqn算法优化离散动作设备，快时间尺度用ea-masac算法优化连续动作设备，在改进的ieee-33节点系统中将所提算法与传统优化算法对比，配电网网损与节点电压偏差更小，更能有效平抑电压波动。
25、3、本专利技术在进行双时间尺度电压控制建模时考虑了oltc、cbs、es、pv、wt以及ev等多种智能体，采用深度强化学习算法智能同时协调了电网有功和无功优化，保证了配电网运行的安全性与经济性。
本文档来自技高网...【技术保护点】
1.一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，所述配电网慢时间尺度电压控制模型的电压控制优化目标函数为：配电网一天内网络损耗成本、电压偏差成本、离散设备的动作成本以及ES充放电成本最小，采用如下公式表示：
3.根据权利要求2所述的一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，所述配电网慢时间尺度电压控制模型的电压控制优化目标函数满足约束条件，包括：潮流约束、电压约束、OLTC与CBs分接头调节约束、ES约束。
4.根据权利要求3所述的一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，通过DDQN算法求解配电网慢时间尺度电压控制模型。
5.根据权利要求4所述的一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，对配电网慢时间尺度电压控制模型按照每小时进行调度。
6.根据权利要求1所述的一种基于多智能体深度强化学
7.根据权利要求6所述的一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，所述配电网快时间尺度电压控制模型的电压控制优化目标函数满足约束条件，包括：PV、WT有功-无功约束，SVC无功约束以及EV充电站有功约束。
8.根据权利要求7所述的一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，采用EA-MASAC算法求解配电网快时间尺度电压控制模型。
9.根据权利要求8所述的一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，对配电网快时间尺度电压控制模型按照每分钟进行调度。
10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-9中任一所述的方法。
...【技术特征摘要】
1.一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，所述配电网慢时间尺度电压控制模型的电压控制优化目标函数为：配电网一天内网络损耗成本、电压偏差成本、离散设备的动作成本以及es充放电成本最小，采用如下公式表示：
3.根据权利要求2所述的一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，所述配电网慢时间尺度电压控制模型的电压控制优化目标函数满足约束条件，包括：潮流约束、电压约束、oltc与cbs分接头调节约束、es约束。
4.根据权利要求3所述的一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，通过ddqn算法求解配电网慢时间尺度电压控制模型。
5.根据权利要求4所述的一种基于多智能体深度强化学习的配电网双时间尺度电压控制方法，其特征在于，对配电网慢时间尺度电压控制模型按照每小时进行调度。
6.根...
【专利技术属性】
技术研发人员：黄阮明，宋天立，李灏恩，费斐，戚宇辰，缪林鑫，王乐，张超立，赵晶晶，
申请(专利权)人：国网上海市电力公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。