【技术实现步骤摘要】
本专利技术涉及城市配电网动态重构，特别涉及一种城市配电网重构运行两阶段强化学习方法及系统。
技术介绍
1、随着城市配电网自动化建设逐渐完善，重构技术开始成为配电网运行优化的可靠手段，其通过改变配电网拓扑结构来转移潮流，可以起到降低网损、改善运行经济性的作用，同时也可以起到均衡各区域负荷，减少局部负荷损失的作用。此外，随着城市配电网中光伏渗透率逐渐提高，运用重构技术还可以有效提高光伏的消纳水平。
2、但是在城市配电网规模日渐庞大的同时，可控开关的数量也随之大为增长，传统的基于模型的动态重构方法难以处理如此高维度的动作空间，从而带来求解速度慢、易陷入局部解甚至无法求解的问题；考虑到强化学习方法直接以数据为驱动，通过与环境频繁交互来获取最优策略，具有强大的策略探索能力与极快的求解速度，随着环境复杂程度的增加，强化学习的优势愈加明显，可为规模逐渐庞大的复杂城市配电网动态重构策略的高效求解提供新的思路；此外，考虑到大规模配电网中可控开关数量众多，但有相当数量的可控开关并不会积极参与重构优化，甚至在整个调度周期内都不会动作，即这些开关对重构优化的贡献不够高，但智能体在和环境交互的过程中依然会对这些开关进行动作的错试学习，这无疑会造成巨大的计算资源浪费，同时也加大了智能体的学习难度，所以可以考虑摒弃这些对重构优化贡献不够高的开关，不仅可以大幅度降低智能体的动作空间，提高训练速度，也可以加强智能体对重要开关动作的感知，提高寻优能力；基于以上分析，考虑开关贡献度的城市配电网重构运行强化学习方法值得深入研究。
1、本专利技术提供了一种城市配电网重构运行两阶段强化学习方法，用于解决现有的配电网开关动作空间让传统重构方法难以求解的技术问题。
2、本专利技术通过下述技术方案实现：一种城市配电网重构运行两阶段强化学习方法，包括以下步骤：
3、步骤一，构建城市配电网动态重构运行数学模型；
4、步骤二，根据光伏消纳和供电能力对开关贡献度进行量化，再由贡献度值对开关进行筛选，在重构优化时忽略被筛选掉的贡献度低的开关，从而实现开关动作空间的大幅度降维；
5、步骤三，构建weighted qmix多智能体强化学习模型，深化智能体对开关贡献度的感知，并提出两阶段强化学习框架，将筛选后所得开关根据贡献度的差异分为两组，并将强化学习训练过程分为两阶段；
6、步骤四，采用集中训练、分散执行的方法训练所述weighted qmix多智能体强化学习模型，获得城市配电网动态重构运行最优策略。
7、可选地，为了更好地实现本专利技术，所述城市配电网动态重构运行数学模型目标函数为：
8、
9、式中：为配电网重构优化的周期内小时数；为时刻的弃光量；为时刻的失负荷量；为时刻配电网的网络损耗；为时刻的开关操作数量；、、和分别为弃光成本系数、失负荷成本系数、网损损耗成本系数和开关操作成本系数。
10、其中，所述弃光量、所述失负荷量、所述网络损耗量以及所述开关操作数量的具体计算方法如下：
11、所述弃光量的计算公式为：
12、
13、式中：表示光伏接入节点的集合；表示时刻节点光伏的输出功率；表示在时刻光伏实际接入电网的功率；
14、所述失负荷量的计算公式为：
15、
16、式中：表示失负荷节点的集合；表示时刻节点负荷预测功率；表示时刻实际注入节点的功率；
17、所述网络损耗量的计算公式为：
18、
19、式中：为配电网所有支路的集合；为时刻支路电流的有效值；为支路的电阻值；
20、所述开关操作次数的计算公式为：
21、
22、式中：为配电网所有开关支路的集合；、分别表示时刻与时刻配电网重构对应的支路上开关的状态，值为0表示支路开关断开，值为1表示支路开关闭合。
23、可选地，为了更好地实现本专利技术，所述城市配电网动态重构运行数学模型的约束条件包括潮流约束、安全运行约束、重构约束、光伏出力约束以及失负荷约束，所述潮流约束的计算公式为：
24、
25、
26、式中：和分别表示时刻注入节点的有功功率和无功功率；表示时刻节点的电压；相邻节点之间的导纳为和；为电压相角差。
27、所述安全运行约束的计算公式为：
28、
29、
30、
31、所述重构约束的计算公式为：
32、
33、
34、
35、
36、式中：表示网架中一直处于闭合状态不可调节的支路总数；为表示以为初始节点的支路终端节点集合；表示以 为终端节点的支路初始节点集合；表示系统节点总数；表示优化主体的变电站数目；含有分布式光伏的配电网可能会在约束下出现孤岛运行情况，所以需要补充，在非变电站节点注入功率，并通过简化的潮流约束使节点之间保持连通状态；表示时刻支路上的辅助潮流有功功率。
37、所述光伏出力约束的计算公式为：
38、
39、式中：为时段节点处光伏的有功出力上限；为时段节点处光伏的有功出力下限。
40、所述失负荷约束的计算公式为：
41、
42、式中：为节点处失负荷量比例系数。
43、可选地，为了更好地实现本专利技术，所述开关贡献度量化方法包括以下步骤：
44、使用蒙特卡洛方法模拟生成个源荷样本，通过添加噪音的方法，着重体现所述源荷样本中光伏弃光与负荷削减的现象，并通过所述城市配电网动态重构运行数学模型，由个源荷样本生成个相对应动态重构开关动作样本。
45、将开关所属变电站作为获取指标的环境。
46、针对所述动态重构开关动作样本，光伏消纳以及供电能力提升的指标量化方法放入计算公式如下：
47、
48、
49、式中：表示变电站上所有光伏在时刻的光伏消纳量占总消纳量的比例，表示变电站上所有削减负荷在时刻的功率补偿量占总补偿量的比例；表示所有属于变电站的光伏节点；表示时刻光伏节点的光伏消纳量；表示所有属于变电站的失负荷节点；表示时刻失负荷节点的功率补偿量；表示动态重构开关动作样本。
50、待获得和后，对开关的24小时光伏消纳能力以及供电能力进行量化处理，其计算公式如下：
51、
52、
53、式中：表示开关在时刻的光伏消纳能力量化，表示开关在时刻的供电能力量化。如果时刻开关没有发生动作，则视为在此时刻该开关没有对光伏消纳以及改善供电做出贡献，如果时刻开关发生动作，则视为在此时刻该开关对光伏消纳以及改善供电做出了贡献。
54、待分别获得该开关在个样本中求得的和后，对其进行累加再求其平均值，即可得到在个样本下该开关的光伏消纳能力和供电提升能力量化值，其计算公式如下：
55、
5本文档来自技高网...
【技术保护点】
1.一种城市配电网重构运行两阶段强化学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种城市配电网重构运行两阶段强化学习方法，其特征在于，所述城市配电网动态重构运行数学模型目标函数为：
3.根据权利要求2所述的一种城市配电网重构运行两阶段强化学习方法，其特征在于，所述城市配电网动态重构运行数学模型的约束条件包括潮流约束、安全运行约束、重构约束、光伏出力约束以及失负荷约束，所述潮流约束的计算公式为：
4.根据权利要求1所述的一种城市配电网重构运行两阶段强化学习方法，其特征在于，所述开关贡献度量化方法包括以下步骤：
5.根据权利要求1所述的一种城市配电网重构运行两阶段强化学习方法，其特征在于，所述Weighted QMIX多智能体深度强化学习模型的计算方法为：
6.根据权利要求5所述的一种城市配电网重构运行两阶段强化学习方法，其特征在于，还包括多智能体交互模型，所述多智能体交互模型包括观测空间、状态空间、动作空间、奖励函数以及状态转移概率，所述观测空间表示每一个智能体能够从环境中观测到的状态值，时刻智能体的观测
7.一种基于权利要求1-6中任一项所述的城市配电网重构运行两阶段强化学习方法的学习系统，其特征在于，包括：
...【技术特征摘要】
1.一种城市配电网重构运行两阶段强化学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种城市配电网重构运行两阶段强化学习方法，其特征在于，所述城市配电网动态重构运行数学模型目标函数为：
3.根据权利要求2所述的一种城市配电网重构运行两阶段强化学习方法，其特征在于，所述城市配电网动态重构运行数学模型的约束条件包括潮流约束、安全运行约束、重构约束、光伏出力约束以及失负荷约束，所述潮流约束的计算公式为：
4.根据权利要求1所述的一种城市配电网重构运行两阶段强化学习方法，其特征在于，所述开关贡献度量化方法包括以下步骤...
【专利技术属性】
技术研发人员：高红均，雷成，姜思远，梁宇，聂金峰，潘旭东，王仁俊，刘友波，刘俊勇，
申请(专利权)人：四川大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。