一种基于智能体的并网型微电网最优能量管理方法技术

一种基于智能体的并网型微电网最优能量管理方法，包括：（1）将包含不同类型分布式电源

【技术实现步骤摘要】
一种基于智能体的并网型微电网最优能量管理方法


[0001]本专利技术涉及电气工程领域，更具体的，涉及一种微电网最优能量管理方法
。

技术介绍

[0002]大力发展可再生能源是我国能源发展的必由之路，截至
2022
年底，我国的可再生能源装机突破
12
亿千瓦，达到
12.13
亿千瓦，占全国发电总装机的
47.3
％，较
2021
年提高
2.5
个百分点
。
其中，风电
3.65
亿千瓦
、
太阳能发电
3.93
亿千瓦
。
然而光伏
、
风机等分布式能源的出力依赖于可再生能源的分布特性，随机性和波动性明显，若大规模
、
分布式接入配电网后，会给配电网的规划
、
运行和管理带来一定的挑战
。
将光伏
、
风机等分布式电源以微电网的形式接入电网，是有效解决分布式可再生能源的大规模应用难题
、
进一步提高其装机容量有效途径
。
[0003]微电网是由分布式电源
、
储能系统
、
能量转换装置
、
监控和保护装置
、
负荷等汇集而成的小型发
、
配
、
用电系统
。
微电网可以看作是小型的电力系统，它具备完整的发电和配电功能，可以有效实现系统内的能量优化
。
微电网既可应用于偏远地区或海岛独立运行，也可接入配电网中并网运行，在满足自身负荷需求的同时，为配电网提供功率支撑与备用等辅助服务
。
[0004]对微电网系统进行有效的能量管理可以优化运行降低成本，现有的方法如混合整数二次规划方法高度依赖对系统中不确定因素的预测准确性，实际中未来的风机
、
光伏功率及负荷需求不可能准确预测，因此，这些方法的求解结果难以直接应用
。
此外，微电网的规模会进一步扩大，系统的不确定性也会发生改变，传统的方法难以提供一个通用的解决框架
。

技术实现思路

[0005]针对现有技术存在的不足，本专利技术提出一种通过与环境的不断交互学习最优策略，可以有效地降低微电网运行成本的基于智能体的并网型微电网最优能量管理方法
。
[0006]本专利技术的一种基于智能体的并网型微电网最优能量管理方法，包括如下步骤：
[0007](1)
将并网型微电网能量管理过程建模为马尔可夫决策过程，智能体的状态变量包含微电网中不同分布式电源的输出功率
、
居民负荷的有功功率和无功功率需求
、
节点电价和储能装置的存储能量；智能体的动作由常规分布式电源的有功功率
、
无功功率和储能装置的充放电功率组成；
[0008](2)
考虑微电网运行约束的奖励函数，智能体的奖励函数中包含微电网的运行成本，即常规分布式电源的发电成本以及微电网向配电网购售电的成本；同时奖励函数中考虑到微电网的运行约束，包括微电网与配电网的交换功率约束
、
潮流约束
、
电压约束
、
储能约束，根据此奖励函数学习得到的最优策略不会输出违反约束条件的能量管理方案；
[0009](3)
采用深度
Q
学习方法求解建立的马尔可夫决策过程的最优平稳策略，智能体与微电网环境进行一次交互可以得到一组样本，包含当前状态
、
智能体的动作
、
获得的奖励和
下一时刻状态，利用这些样本学习最优动作价值网络并得到最优策略，最优策略输出最佳能量管理方案
。
[0010]本专利技术的步骤
(1)
中，并网型微电网的能量管理问题中智能体的状态变量满足马尔可夫性；针对包含常规分布式电源
、
风力发电机
、
分布式光伏
、
储能装置和居民负荷的微电网系统；
[0011]构建的马尔可夫决策过程的状态为其中分别表示过去
24
小时光伏和风机的输出功率，分别表示过去
24
小时负荷的功率需求，
R
t
表示过去
24
小时的节点电价，
E
t
表示过去
24
小时储能装置的存储能量
。
动作为动作为为由
t
时段常规分布式发电机输出的有功功率的向量，分别表示第
k
个常规分布式电机在
t
时段输出的有功功率，表示储能装置的在
t
时刻的充放电功率，为正值时表明充电状态，为负值时表明放电状态；此外，常规分布式发电机与储能装置需要分别满足下列约束：
[0012][0013][0014]与分别表示常规分布式电源的最大和最小输出功率，为储能装置最大充放电功率；因此该马尔可夫决策过程的动作空间为：
[0015]本专利技术的步骤
(2)
中，针对包含常规分布式电源
、
风力发电机
、
分布式光伏
、
储能装置和居民负荷的微电网，奖励函数中包含微电网的运行成本，并且奖励函数中考虑到微电网的运行约束；当智能体输出的动作无法满足约束条件时会得到一个较小的奖励值，从而采用此奖励函数训练的智能体输出最优动作不会违反约束条件；
[0016]本专利技术为优化微电网的运营成本，当满足微电网运行约束时，智能体的奖励函数为：
[0017][0018]其中，
r
t
表示第
t
次决策的奖励，和分别为为
t
时段第
k
个常规分布式电源的成本和微电网的购电成本，计算公式如下：
[0019][0020][0021]其中，
a
d
，
b
d
，
c
d
为成本系数，为与配电网交换功率，当为正时表示向配电网购电，为负值时表示向配电网售电，
R
t
为实时电价，
Δ
t
为运行步长
。r
t
为成本的负数，因此最大化
r
t
意味着最小化成本；
[0022]公式为当满足约束条件时的奖励函数，设计考虑约束的奖励函数时具体考虑以下约束条件：
[0023](1)
潮流约束
[0024][0025]其中，和分别表示
t
时段流经支路
ij
的有功功率和无功功率，表示支路
ij
允许的最大视在功率
。
[0026](2)
交换功率约束本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于智能体的并网型微电网最优能量管理方法，其特征在于，包括如下步骤：
(1)
将包含不同类型分布式电源
、
储能装置和用户负荷，并且可以向配电网购售电量的并网型微电网的能量管理过程建模为马尔可夫决策过程；
(2)
基于微电网与配电网的运行约束，设计马尔可夫决策过程的奖励函数；
(3)
采用深度
Q
学习方法求解建立的马尔可夫决策过程的最优平稳策略，即微电网的最优能量管理策略
。2.
根据权利要求1所述的基于智能体的并网型微电网最优能量管理方法，其特征在于步骤
(1)
中，智能体的状态变量包含微电网中不同分布式电源的输出功率
、
居民负荷的有功功率和无功功率需求
、
节点电价和储能装置的存储能量；智能体的动作由常规分布式电源的有功功率
、
无功功率和储能装置的充放电功率组成
。3.
根据权利要求1或2所述的基于智能体的并网型微电网最优能量管理方法，其特征在于步骤
(1)
在构建的马尔可夫决策过程框架中，智能体的状态为其中，分别表示过去
24
小时分布式光伏和风力发电机的输出功率，表示过去
24
小时居民负荷的功率需求，
R
t
表示过去
24
小时的节点电价，
E
t
表示过去
24
小时储能装置的存储能量；智能体的动作为储能量；智能体的动作为为由
t
时段常规分布式发电机输出的有功功率的向量，表示第
k
个常规分布式电机在
t
时段输出的有功功率，表示储能装置的在
t
时刻的充放电功率，为正值时表明处于充电状态，为负值时表明处于放电状态；此外，常规分布式发电机与储能装置需要分别满足下列约束：此外，常规分布式发电机与储能装置需要分别满足下列约束：其中，与分别表示常规分布式电源的最大和最小输出功率，表示第
d
个常规分布式电机在
t
时段输出的有功功率；为储能装置最大充放电功率；因此该马尔可夫决策过程的动作空间为：
4.
根据权利要求1所述的基于智能体的并网型微电网最优能量管理方法，其特征在于，所述步骤
(2)
奖励函数中包含微电网的运行成本，即常规分布式电源的发电成本以及微电网向配电网购售电的成本；同时奖励函数中考虑到微电网的运行约束，包括微电网与配电网的交换功率约束
、
潮流约束
、
电压约束
、
储能约束；根据此奖励函数学习得到的最优策略不会输出违反约束条件的能量管理方案
。5.
根据权利要求1或4所述的基于智能体的并网型微电网最优能量管理方法，其特征在于，所述步骤
(2)
考虑微电网运行约束的奖励函数，当满足微电网运行约束时，智能体的奖励函数为：其中，
r
t
表示智能体第
t
次决策后获得的奖励，和分别为为
t
时段第
k
个常规分布式电源的发电成本和微电网向配电网购售电的成本，计算公式如下：式电源的发电成本和微电网向配电网购售电的成本，计算公式如下：
其中，
a
d
，
b
d
，
c
d
为成本系数，为与配电网交换功率，当为正时表示向配电网购电，为负值时表示向配电网售电，
R
t
为实时电价，
Δ
t
为运行步长；
r
t
为成本的负数，因此最大化
r
t
意味着最小化成本；公式为当满足约束条件时的奖励函数，设计考虑微电网运行约束的奖励函数时具体考虑以下约束条件
:(1)
潮流约束其中，和分别表示
t
时段流经支路
ij
的有功功率和无功功率，表示支路
ij
允许的最大视在功率；
(2)
交换功率约束其中，为微电网与配电网的联络线路允许的最大交换功率；
(3)
电压约束其中，分别表示
t
时段节点
i
的电压以及该节点允许电压的最小值和最大值；
(4)
储能约束
E
min
≤E
t

【专利技术属性】
技术研发人员：杨志淳，姚志荣，沈煜，杨帆，李进扬，崔世常，闵怀东，雷杨，胡伟，吴畏，姚金林，操燕春，方石磊，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：