【技术实现步骤摘要】
本公开涉及综合能源系统控制，具体而言，涉及一种用于综合能源系统的供需协同调控系统及方法。
技术介绍
1、目前，在综合能源系统内普遍引入综合能源系统，以提升用能主体的负荷需求满足度。在综合能源系统的运行过程中，存在能源需求量大、分布式能源种类多、能源消纳率低、新能源不确定性高、用户负荷峰谷差大、储能时间耦合性和经济环境效率等问题。针对上述问题，在综合能源系统中开展多维度的实时调控研究十分有必要。
2、相关技术中，针对综合能源系统的调控模型求解方法包括数学规划方法及启发式方法。其中，数学规划方法，用于研究在给定区域中寻找最小化或最大化某一函数的最优解；常用的数学规划方法包括混合整数非线性规划方法（minlp）和混合整数现象规划方法（milp）。具体的，在同时考虑可再生能源、不确定参数、需求响应极化和排放的多能源枢纽系统随机调度模型中，运用milp方法以最小化经济运行成本，或对综合能源系统随机规划框架建立 minlp 模型，并通过一阶泰勒展开、非凸运行域分解、分支定界等方式对问题进行转换与分解，但常用的数学规划方法在面对大规模问题时全局优化速度慢，求解困难大，甚至可能出现不可解的情况。
3、启发式方法依赖经验和规则，通过随机搜索的方式寻找满足收敛条件的解，例如：通过建立考虑电池寿命的多目标实时控制模型，运用遗传算法进行分钟级别的滚动优化求解最优的控制策略，或者采用基于机会约束规划的概率优化框架，改进混合人工蜂群和差分进化算法，以提升其在解决并网能源管理方面的优化能力。而启发式方法往往需要依靠专家经验，不依赖模型
4、综上，综合能源系统的供需调控过程中，由于传统的调控模型求解方法存在求解难度大，求解质量不稳定，求解速度慢，进而导致综合能源系统的供需调控响应速度慢，无法实现在线调控。
5、需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本公开的目的在于提供一种用于综合能源系统的供需协同调控系统及方法，在一定程度上解决相关技术中调控模型求解质量不稳定及求解速度慢，导致综合能源系统的供需调控响应速度慢，无法在线调控的问题。
2、本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
3、根据本公开实施例的第一方面，提供了一种用于综合能源系统的供需协同调控系统，包括：
4、目标策略确定模块，用于根据所述综合能源系统的历史运行数据构建原始马尔可夫决策模型，并利用双延迟深度确定性策略梯度算法对所述原始马尔可夫决策模型进行求解，以最大化累计奖励为目标函数对所述原始马尔可夫决策模型的参数进行训练，得到目标马尔可夫模型，将所述综合能源系统的当前观测状态输入到所述目标马尔可夫模型中，生成对应的目标调控策略；
5、综合能源调控模块，用于根据所述目标调控策略对所述综合能源系统中的调控决策对象进行调控；
6、其中，所述综合能源系统包括发电系统、外部电网、储能系统和用电系统；所述发电系统包括风电系统、光伏系统和燃气系统；所述调控决策对象包括外部电网的售电功率、发电系统的输出功率、储能系统的充放电功率及用电系统的可控负荷削减量。
7、在本公开的一种示例性实施例中，所述目标策略确定模块包括：
8、原始模型构建模块，用于根据所述综合能源系统的历史运行数据生成所述原始马尔可夫决策模型的参数元组，通过所述参数元组构建所述原始马尔可夫决策模型，所述参数元组包括所述综合能源系统的观测状态、调控动作、奖励函数；
9、原始模型求解模块，用于通过所述双延迟深度确定性策略梯度算法的异策略训练模型对所述原始马尔可夫决策模型进行求解；
10、目标策略生成模块，用于将所述综合能源系统的当前观测状态输入到所述原始马尔可夫模型中，生成对应的初始调控策略，根据所述初始调控策略生成并发送调控动作至所述综合能源系统，并根据所述综合能源系统的响应对所述初始调控策略进行更新，直到更新次数达到预设更新数值，得到目标调控策略；
11、其中，所述综合能源系统的响应包括下一时刻所述综合能源系统的观测状态及所述奖励函数。
12、在本公开的一种示例性实施例中，所述当前观测状态为：
13、；
14、其中，为连续的状态空间；为当前时刻光伏系统的实际出力；为当前时刻风电系统的实际出力；为当前时刻储能系统的存储荷电状态；为当前时刻用电系统的可控负荷值；为当前时刻用电系统的不可控负荷值。
15、在本公开的一种示例性实施例中，所述调控动作为：
16、；
17、其中，为连续的动作空间；为当前时刻向外部电网的购电功率；为当前时刻光伏系统的实际消纳功率；为当前时刻风电系统的实际消纳功率；为当前时刻燃气系统的输出功率；为当前时刻储能系统的充放电功率；为当前时刻用电系统的可控负荷削减量。
18、在本公开的一种示例性实施例中，所述奖励函数为：
19、；
20、其中，为向外部电网的购电总成本系数；为光伏系统的总成本系数；为风电系统的总成本系数；为燃气系统的总成本系数；为储能系统的总成本系数；为用电系统的补偿系数；为当前时刻t向外部电网的购电功率；为当前时刻光伏系统的实际消纳功率；为当前时刻风电系统的实际消纳功率；当前时刻燃气系统的输出功率；当前时刻储能系统的充放电功率；当前时刻用电系统的可控负荷削减量。
21、在本公开的一种示例性实施例中，所述双延迟深度确定性策略梯度算法包括策略网络和价值网络；所述原始模型求解模块包括：
22、网络配置子模块，用于分别为所述策略网络和所述价值网络配置目标策略网络和目标价值网络，并固定所述策略网络和所述价值网络的时间同步参数，以通过所述策略网络、所述价值网络、所述目标策略网络和所述目标价值网络的交互对所述马尔可夫决策模型进行求解。
23、在本公开的一种示例性实施例中，所述网络配置子模块包括：
24、策略参数计算单元，用于计算得到所述策略网络的策略参数，以根据所述策略参数对所述策略网络的策略函数进行定义。
25、在本公开的一种示例性实施例中，所述策略参数为：
26、；
27、其中，为所述策略参数；为学习率；为所述策略参数的期望回报；为所述策略参数的期望回报上升梯度；
28、其中，所述策略参数的期望回报为：
29、；
30、其中，为轨迹的期望回报；为轨迹的发生概率；
31、其中，轨迹的发生概率为：
32、；
33、其中，为第1观测状态的出现概率；为时间分段周期数；为轨迹在当前时刻的调控动作；为轨迹在当前时刻的观测状态；为在所述策略参数下，轨迹的观测状态触发调控动作的概率；为轨迹在下一时刻的观测状态；为在调控动作下，本文档来自技高网...
【技术保护点】
1.一种用于综合能源系统的供需协同调控系统，其特征在于，包括：
2.根据权利要求1所述的供需协同调控系统，其特征在于，所述目标策略确定模块包括：
3.根据权利要求2所述的供需协同调控系统，其特征在于，所述当前观测状态 为：
4.根据权利要求2所述的供需协同调控系统，其特征在于，所述调控动作 为：
5.根据权利要求2所述的供需协同调控系统，其特征在于，所述奖励函数 为：
6.根据权利要求2所述的供需协同调控系统，其特征在于，所述双延迟深度确定性策略梯度算法包括策略网络和价值网络；所述原始模型求解模块包括：
7.根据权利要求6所述的供需协同调控系统，其特征在于，所述网络配置子模块包括：
8.根据权利要求7所述的供需协同调控系统，其特征在于，所述策略参数 为：
9.根据权利要求6所述的供需协同调控系统，其特征在于，所述原始模型求解模块还包括：
10.一种用于综合能源系统的供需协同调控方法，其特征在于，应用于权利要求1-9任一项所述的供需协同调控系统，所述方法包括：
【技术特征摘要】
1.一种用于综合能源系统的供需协同调控系统，其特征在于，包括：
2.根据权利要求1所述的供需协同调控系统，其特征在于，所述目标策略确定模块包括：
3.根据权利要求2所述的供需协同调控系统，其特征在于，所述当前观测状态 为：
4.根据权利要求2所述的供需协同调控系统，其特征在于，所述调控动作 为：
5.根据权利要求2所述的供需协同调控系统，其特征在于，所述奖励函数 为：
6.根据权利要求2所述的供需协同调控系统，其特征在于，所述...
【专利技术属性】
技术研发人员：肖斌，彭怀午，周治，郜振鑫，陈康，牛东圣，张锦扬，刘坤，
申请(专利权)人：中国电建集团西北勘测设计研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。