基于行动家和评论家网络的综合供需侧的电力调度系统技术方案

本发明专利技术公开了一种基于行动家和评论家网络的综合供需侧的电力调度系统，包括行动家神经网络和评论家神经网络，并向综合能源电网输出满足预设条件的电力调度方案，行动家神经网络基于行动家网络参数和约束参数对状态信息进行训练，输出相应的电力调度方案；控制单元获取反馈信息，评论家神经网络基于评论家网络参数对反馈信息和输入的电力调度方案进行训练，输出评论信息并更新评论家网络参数；行动家神经网络根据评论信息更新行动家网络参数和约束参数，并基于更新后的参数输出新的电力调度方案，直至输出满足优化条件的电力调度方案。本发明专利技术根据综合能源电网的反馈信息不断更新神经网络参数以及约束参数得到最优的电力调度方案，更加智能。更加智能。更加智能。

【技术实现步骤摘要】
基于行动家和评论家网络的综合供需侧的电力调度系统


[0001]本专利技术涉及能源领域，特别涉及一种基于行动家和评论家网络的综合供需侧的电力调度系统。

技术介绍

[0002]电能已经作为一种基础的能源，深入到人们生产生活的各领域。电能的主要来源有包括水力发电(水电)、火力发电(火电)、太阳能发电、风力发电(风电)、电池转化及核能发电(核电)等。这些发电方式各有特点，太阳能与风能开采利用十分方便，不会污染环境，具有极高的开发潜力且不会枯竭，但其受到地理环境以及气候条件的影响较大，且能源转化效率较低；热电方式能源供应稳定，转化效率高，但会污染环境而且日趋枯竭；水电受到的季节性影响比较大；由于风电等方式存在限制，有些地区出现了弃风、弃光的现象，同时能源利用效率不高，这些都对经济转型有负面影响。
[0003]另一方面，我国的能源利用效率也受到需求侧状况的影响。当前，我国电力装机存在了过剩的趋势，火力发电设备利用率不高，新能源发电所占的比例偏低。
[0004]随着各种能源技术的发展，我国电能供应结构日趋复杂，却难以解决能源的并网消纳问题。但是，目前各种不同形式的能源缺乏协调，缺少面向需求侧的协调方法会导致严重的能源浪费。故如何综合需求响应，使之作为与综合能源电网系统(下文简称综合能源电网)相互协调的策略，利用各种能源之间的协同互补，形成多种类能源综合的电力能源供给系统，充分发挥不同形式能源的优势，优化用户的能源使用结构，提升社会综合能效水平，显得尤为重要。
[0005]综合能源电网是指利用信息技术整合一定的区域内各种不同的能源形式，实现各种异质子系统之间的统一协调管理。综合能源电网的基本结构如图1所示，包括作为调度中心的信息系统，由各种终端构成的信息
‑
物理能源系统的交互层，以及包含新能源与传统能源的物理系统。如图2所示，综合能源电网主要由供能网络(如供电、供气、供冷、供热等网络)、能源交换环节(如CCHP机组、发电机组、锅炉、空调、热泵等)、能源存储环节(储电、储气、储热、储冷等)、终端综合能源供用单元(如微网)和大量终端用户共同构成。
[0006]综合能源电网的主要功能是满足社会上各种用户的不同形式的能源负荷需求。例如在用电负荷极高的工业区，综合能源电网应该提供足够的电力来满足工厂的正常运转；在冬日气温较低的地区，综合能源电网应该提供足够的热能。因此主要优化目标的衡量标准为在某一特定时段综合能源电网提供的总体负荷与用户总体需求负荷的差值，当差值为负值时，说明综合能源电网未能实现正常的功能。如图5所示，负荷的差值具体包含电负荷、冷/热负荷以及燃气负荷之间的差值。不同种类的能源在存储和运输过程中会有不同程度的能源损耗。同时对于新能源来说，不同的季节的能源效率也不同。因此将能源效率作为电力调度方案的约束之一，即能源生产供应的过程中的损耗应当小于某个给定的值。系统的能源效率取决于用户实际消耗的能源量与能源的生产总量。负荷转移的成本取决于各种转移设备的特性以及转移的负荷量。
[0007]对供应侧与需求侧整合进行优化可以进一步提升整体的能源供应利用效率。现有的整合优化系统通常建模为一个多目标优化调度问题，并将原问题转化为线性规划问题进行求解。但样方法存在许多不足，主要表现在以下几个方面：
[0008]1.在多目标优化调度问题中，难以确定各个不同目标之间的权重，难以具体规定能源系统的各项指标；
[0009]2.当电网的规模不断扩大，能源电网的状态复杂程度不断提高，使用线性规划将遭遇维数灾难问题，难以处理大规模的高维数据；
[0010]3.模型无法根据供应侧与需求侧的状态变化进行动态调控，无法从环境信息中进行学习实现智能优化，即传统模型在对调度方法进行优化调整时，需要控制人员根据电网的状态信息手动调整电力调度方法，而无法实现自动实时调整。

技术实现思路

[0011]鉴于以上内容，有必要提供一种基于行动家和评论家网络的综合供需侧的电力调度系统，能够在满足生活用电与工业用电基本需求的前提下，使得各种能源损耗最小。
[0012]本专利技术提供的方案满足需求侧的不同种类的负荷，包括用电负荷、热负荷、天然气负荷等，约束为综合能源电网的各项维护调控成本以及能源系统的综合能效。将原问题转化为拉格朗日公式，然后推导出公式对各个优化参数的梯度更新公式，然后利用更新公式得出强化学习神经网络的损失函数用以训练神经网络学习即优化相应的电力调度方案。
[0013]本专利技术提供的技术方案如下：
[0014]本专利技术提供了一种基于行动家和评论家网络的综合供需侧的电力调度系统，包括与综合能源电网连接的控制单元，其包括行动家神经网络和评论家神经网络，其中，所述行动家神经网络包括行动家网络参数和约束参数，所述约束参数与综合能源电网的调控成本和能源损耗相关，所述评论家神经网络包括评论家网络参数；
[0015]所述电力调度系统用于根据综合能源电网的状态信息和反馈信息，对电力调度方案进行优化，具体包括以下步骤：
[0016]S1、所述控制单元获取所述状态信息，并向综合能源电网输出满足预设条件的电力调度方案，且所述控制单元将所述状态信息输入至所述行动家神经网络，所述行动家神经网络基于所述行动家网络参数和约束参数对所述状态信息进行训练，输出相应的电力调度方案；
[0017]S2、所述控制单元获取所述反馈信息，并将其和所述行动家神经网络输出的电力调度方案输入至所述评论家神经网络，所述评论家神经网络基于所述评论家网络参数对所述反馈信息和输入的电力调度方案进行训练，输出评论信息，并根据所述评论信息更新所述评论家网络参数；
[0018]S3、所述控制单元将所述评论信息发送至所述行动家神经网络，所述行动家神经网络根据所述评论信息更新所述行动家网络参数和约束参数，并基于更新后的行动家网络参数和约束参数训练输出新的电力调度方案；重复执行S2至S3，直至输出满足优化条件的电力调度方案。
[0019]进一步地，所述综合能源电网包括需求侧，所述状态信息包括所述需求侧的实际用电负荷和/或实际热负荷和/或实际天然气负荷。
[0020]作为一种可选的方案，所述控制单元内预存有多个电力调度方案，所述满足预设条件的电力调度方案为预存的多个电力调度方案中的一个；或者，
[0021]作为另一种可选的方案，所述满足预设条件的电力调度方案为所述行动家神经网络通过对所述状态信息训练得到。
[0022]进一步地，所述预设条件包括：Q
π
最小，所述Q
π
通过下式计算得到：
[0023]Q
π
＝|Q
E
‑
E|+|Q
H
‑
H|+|Q
G
‑
G|(1
‑
1)
[0024]式中，Q
π
为在电力调度方案π下的综合能源电网供需侧的差值，Q
E
为综合能源电网供应侧的用电负荷，E为综合能源电网需求侧的实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于行动家和评论家网络的综合供需侧的电力调度系统，其特征在于，包括与综合能源电网连接的控制单元，其包括行动家神经网络和评论家神经网络，其中，所述行动家神经网络包括行动家网络参数和约束参数，所述约束参数与综合能源电网的调控成本和能源损耗相关，所述评论家神经网络包括评论家网络参数；所述电力调度系统用于根据综合能源电网的状态信息和反馈信息，对电力调度方案进行优化，具体包括以下步骤：S1、所述控制单元获取所述状态信息，并向综合能源电网输出满足预设条件的电力调度方案，且所述控制单元将所述状态信息输入至所述行动家神经网络，所述行动家神经网络基于所述行动家网络参数和约束参数对所述状态信息进行训练，输出相应的电力调度方案；S2、所述控制单元获取所述反馈信息，并将其和所述行动家神经网络输出的电力调度方案输入至所述评论家神经网络，所述评论家神经网络基于所述评论家网络参数对所述反馈信息和输入的电力调度方案进行训练，输出评论信息，并根据所述评论信息更新所述评论家网络参数；S3、所述控制单元将所述评论信息发送至所述行动家神经网络，所述行动家神经网络根据所述评论信息更新所述行动家网络参数和约束参数，并基于更新后的行动家网络参数和约束参数训练输出新的电力调度方案；重复执行S2至S3，直至输出满足优化条件的电力调度方案。2.如权利要求1所述的电力调度系统，其特征在于，所述综合能源电网包括需求侧，所述状态信息包括所述需求侧的实际用电负荷和/或实际热负荷和/或实际天然气负荷。3.如权利要求1所述的电力调度系统，其特征在于，所述控制单元内预存有多个电力调度方案，所述满足预设条件的电力调度方案为预存的多个电力调度方案中的一个；或者，所述满足预设条件的电力调度方案为所述行动家神经网络通过对所述状态信息训练得到。4.如权利要求1所述的电力调度系统，其特征在于，所述预设条件包括：Q
π
最小，所述Q
π
通过下式计算得到：Q
π
＝|Q
E
‑
E|+|Q
H
‑
H|+|Q
G
‑
G|(1
‑
1)式中，Q
π
为在电力调度方案π下的综合能源电网供需侧的差值，Q
E
为综合能源电网供应侧的用电负荷，E为综合能源电网需求侧的实际用电负荷，Q
H
为综合能源电网供应侧的热负荷，H为综合能源电网需求侧的实际热负荷，Q
G
为综合能源电网供应侧的天然气负荷，G为综合能源电网需求侧的实际天然气负荷；以及，其中，所述为在电力调度方案π下的综合能源电网的调控成本，所述α
C
为所述调控成本的约束值，所述通过下式计算得到：式中，为在电力调度方案π下的综合能源电网的调控成本，i包括电能和/或热能和/或燃气负荷，C
i
为与i相对应的能源的成本运行系数，P
i
为与i相对应的能源的有功出力，a为负荷转移的容量补偿系数，P
mov,i
为在电力调度方案π下的转移电负荷量，b为负荷削减的容
量补偿系数，P
Cut,i
为在电力调度方案π下的削减电负荷量，c为负荷转换的容量补偿系数，P
Alt,i
为在电力调度方案π下的转换电负荷量；以及，其中，所述为在电力调度方案π下的综合能源电网的能源损耗，所述α
E
为所述能源损耗的约束值，所述通过下式计算得到：式中，为在电力调度方案π下的综...

【专利技术属性】
技术研发人员：韦磊，蒋承伶，景栋盛，周游，兴胜利，周炳，杨旭升，李娜，佘家驹，杨勤胜，
申请(专利权)人：国网江苏省电力有限公司苏州供电分公司国网综合能源服务集团有限公司江苏方天电力技术有限公司，
类型：发明
国别省市：