基于深度Q学习的微电网内多类型储能的调度方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度Q学习的微电网内多类型储能的调度方法及装置，所述微电网包括电源、长周期储能设备和短周期储能设备，将微电网内多类型储能的调度问题描述为马尔可夫决策过程，构建并训练深度Q学习的神经网络模型，采用训练好的深度Q学习神经网络模型，输入微电网的当前状态，输出对应的动作，按照输出的动作进行调度。本发明专利技术通过智能体和微电网调度环境的不断交互来获得最优的储能调度策略，避免了模型不准确性带来的影响，适用于包含多种类型储能技术的微电网，能够为微电网的优化运行提供支撑，采用发明专利技术技术方案可以调整储能荷电量，合理安排用电时间和用电量，实现微电网运营收益最大化的目标。微电网运营收益最大化的目标。微电网运营收益最大化的目标。

【技术实现步骤摘要】
基于深度Q学习的微电网内多类型储能的调度方法及装置


[0001]本申请属于能源自动化
，尤其涉及一种基于深度Q学习的微电网内多类型储能的调度方法。

技术介绍

[0002]能量作为源动力，推动着人类社会的不断发展。然而，传统化石能源的大量开采和使用，一方面使人类未来面临能源枯竭的危机，另一方面引发了当前环境日益恶化的问题。开发可再生能源已经成为国际社会应对上述两方面问题的重要举措。利用可再生能源进行分布式发电，并供给就近负荷消纳，组成微电网，是其中一种重要的方式。微电网不仅更灵活，也是解决可再生能源发电并网问题的一种重要技术手段，近年来得到了国内外的普遍关注。由于可再生能源发电的随机性和不确定性，往往需要在微电网中引入多种类型储能技术，以保障其稳定运行。比如，长周期储能技术(包含但不限于电解水制氢
‑
储氢
‑
氢氧燃料电池技术)用来平抑可再生能源发电的长周期波动性，如，风光发电的季节性波动；短周期储能技术(包含但不限于储能锂电池技术)用来平抑可再生能源发电的短周期波动性，如，光伏发电的昼夜波动。
[0003]储能系统作为微电网的重要组成部分，通过对多余电能的储存和释放，有效地保证了微电网的平稳运行。同时，借助于合理的调度策略，储能系统也是提高微电网运营经济效益的一个重要手段。
[0004]传统的随机优化算法是解决微电网储能调度问题的主要技术，该技术需要建立调度数学模型并引入大量的假设才能求解，且求解问题的范围有限。受系统动态性和可再生能源发电间歇性的影响，微电网储能调度数学模型及其参数存在一定的误差，这会给求解结果带来一些无法预期的影响。在微电网中包含多类型储能的情况下，调度数学模型更复杂，误差带来的问题更严重。

技术实现思路

[0005]本申请的目的是提供一种基于深度Q学习的微电网内多类型储能的调度方法及装置，以降低误差所带来的调度策略非最优的技术问题。
[0006]为了实现上述目的，本申请技术方案如下：
[0007]一种基于深度Q学习的微电网内多类型储能的调度方法，所述微电网包括电源、长周期储能设备和短周期储能设备，所述基于深度Q学习的微电网内多类型储能的调度方法，包括：
[0008]将微电网内多类型储能的调度问题描述为马尔可夫决策过程，所述马尔可夫决策过程中t时刻的状态s
t
表示如下：
[0009][0010]其中，表示电源发电量，表示微电网内部负荷消耗电量，表示短周期储能设备的荷电量，表示长周期储能设备的荷电量，分别表示电源寿命、短周期储能设备寿命、长周期储能设备寿命，P
t(SS)
表示短周期储能设备的充放电功率上限，短周期储能设备的充放电功率下限为
‑
P
t(SS)
；
[0011]W
t(LS)
表示长周期储能设备的容量上限，表示电源发电效率、短周期储能设备充电效率、长周期储能设备充电效率；
[0012]表示短周期储能设备放电效率、长周期储能设备放电效率；
[0013]r
t(SS)
、r
t(LS)
表示短周期储能设备和长周期储能设备反复充放电的容量保有率；
[0014]μ
t
表示与主网交易电价和需求侧响应信息；
[0015]所述马尔可夫决策过程中动作表示如下：
[0016][0017]其中，分别为短周期储能和长周期储能与微电网交流母线交换的电量；
[0018]所述马尔可夫决策过程中，t时刻的即时奖励函数表示如下：
[0019][0020]其中，δ
t
是平衡功率，β是微电网向主电网售电时的电价，k是微电网从主电网买电时的电价，Δt表示信号采集的时间间隔，penalty是微电网切除一般负荷时付出的代价；
[0021]构建并训练深度Q学习的神经网络模型，根据输入的微电网的当前状态，输出对应的动作，采用训练好的深度Q学习神经网络模型，输入微电网的当前状态，输出对应的动作，按照输出的动作进行调度。
[0022]进一步的，所述马尔可夫决策过程中动作的约束如下：
[0023]放电约束：
[0024][0025][0026]充电约束：
[0027][0028]进一步的，所述平衡功率δ
t
计算公式如下：
[0029][0030]进一步的，在所述电源包括多个电源设备时，所述状态还包括各个电源对应的电源发电量、电源寿命、电源发电效率。
[0031]进一步的，在所述长周期储能设备和短周期储能设备分别包括多个储能设备时，所述状态还包括各个储能设备对应的荷电量、储能设备寿命、充放电功率上限、容量上限、
充电效率、放电效率和反复充放电的容量保有率。
[0032]本申请还提出了一种基于深度Q学习的微电网内多类型储能的调度装置，所述微电网包括电源、长周期储能设备和短周期储能设备，所述基于深度Q学习的微电网内多类型储能的调度装置，包括：
[0033]配置模块，用于将微电网内多类型储能的调度问题描述为马尔可夫决策过程，所述马尔可夫决策过程中t时刻的状态s
t
表示如下：
[0034][0035]其中，表示电源发电量，表示微电网内部负荷消耗电量，表示短周期储能设备的荷电量，表示长周期储能设备的荷电量，分别表示电源寿命、短周期储能设备寿命、长周期储能设备寿命，P
t(SS)
表示短周期储能设备的充放电功率上限，短周期储能设备的充放电功率下限为
‑
P
t(SS)
；
[0036]W
t(LS)
表示长周期储能设备的容量上限，表示电源发电效率、短周期储能设备充电效率、长周期储能设备充电效率；
[0037]表示短周期储能设备放电效率、长周期储能设备放电效率；
[0038]r
t(SS)
、r
t(LS)
表示短周期储能设备和长周期储能设备反复充放电的容量保有率；
[0039]μ
t
表示与主网交易电价和需求侧响应信息；
[0040]所述马尔可夫决策过程中动作表示如下：
[0041][0042]其中，分别为短周期储能和长周期储能与微电网交流母线交换的电量；
[0043]所述马尔可夫决策过程中，t时刻的即时奖励函数表示如下：
[0044][0045]其中，δ
t
是平衡功率，β是微电网向主电网售电时的电价，k是微电网从主电网买电时的电价，Δt表示信号采集的时间间隔，penalty是微电网切除一般负荷时付出的代价；
[0046]深度学习调度模块，用于构建并训练深度Q学习的神经网络模型，根据输入的微电网的当前状态，输出对应的动作，采用训练好的深度Q学习神经网络模型，输入微电网的当前状态，输出对应的动作，按照输出的动作进行调度。
[0047]进一步的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度Q学习的微电网内多类型储能的调度方法，所述微电网包括电源、长周期储能设备和短周期储能设备，其特征在于，所述基于深度Q学习的微电网内多类型储能的调度方法，包括：将微电网内多类型储能的调度问题描述为马尔可夫决策过程，所述马尔可夫决策过程中t时刻的状态s
t
表示如下：其中，表示电源发电量，表示微电网内部负荷消耗电量，表示短周期储能设备的荷电量，表示长周期储能设备的荷电量，分别表示电源寿命、短周期储能设备寿命、长周期储能设备寿命，P
t(SS)
表示短周期储能设备的充放电功率上限，短周期储能设备的充放电功率下限为
‑
P
t(SS)
；W
t(LS)
表示长周期储能设备的容量上限，表示电源发电效率、短周期储能设备充电效率、长周期储能设备充电效率；表示短周期储能设备放电效率、长周期储能设备放电效率；r
t(SS)
、r
t(LS)
表示短周期储能设备和长周期储能设备反复充放电的容量保有率；μ
t
表示与主网交易电价和需求侧响应信息；所述马尔可夫决策过程中动作表示如下：其中，分别为短周期储能和长周期储能与微电网交流母线交换的电量；所述马尔可夫决策过程中，t时刻的即时奖励函数表示如下：其中，δ
t
是平衡功率，β是微电网向主电网售电时的电价，k是微电网从主电网买电时的电价，Δt表示信号采集的时间间隔，penalty是微电网切除一般负荷时付出的代价；构建并训练深度Q学习的神经网络模型，根据输入的微电网的当前状态，输出对应的动作，采用训练好的深度Q学习神经网络模型，输入微电网的当前状态，输出对应的动作，按照输出的动作进行调度。2.根据权利要求1所述的基于深度Q学习的微电网内多类型储能的调度方法，其特征在于，所述马尔可夫决策过程中动作的约束如下：放电约束：放电约束：充电约束：
3.根据权利要求1所述的基于深度Q学习的微电网内多类型储能的调度方法，其特征在于，所述平衡功率δ
t
计算公式如下：4.根据权利要求1所述的基于深度Q学习的微电网内多类型储能的调度方法，其特征在于，在所述电源包括多个电源设备时，所述状态还包括各个电源对应的电源发电量、电源寿命、电源发电效率。5.根据权利要求1所述的基于深度Q学习的微电网内多类型储能的调度方法，其特征在于，在所述长周期储能设备和短周期储能设备分别包括多个储能设备时，所述状态还包括各个储能设备对应的荷电量、储能设备寿命、充放电功率上限、容量上限、充电效率、放电效率和反复充放电的容量保有率。6.一种基于深度Q学习的微...

【专利技术属性】
技术研发人员：毛超利，
申请(专利权)人：中国电子科技南湖研究院，
类型：发明
国别省市：