一种基于强化学习算法的需求侧响应负荷分析方法技术

本发明专利技术公开一种基于强化学习算法的需求侧响应负荷分析方法，包括：获取电网用电侧可调负荷信息、电力现货市场信息以及供电侧机组发电信息，以及预先构建的基于用户选择的需求响应模型；基于需求响应模型，将用户负荷动态转移问题转换为离散的无限马尔科夫决策问题；基于电网用电侧可调负荷信息、电力现货市场信息以及供电侧机组发电信息，采用Q

【技术实现步骤摘要】
一种基于强化学习算法的需求侧响应负荷分析方法


[0001]本专利技术涉及电力系统自动化调度
，特别是一种基于强化学习算法的需求侧响应负荷分析方法。

技术介绍

[0002]生活方式的愈发多样化，使得人们对电力的需求越来越大，导致传统发电侧负荷控制较为乏力，无法灵活地应对用电高峰和冲击负荷带来的电网波动。随着现代先进的信息和通信技术在智能电网系统中的应用，需求响应(DR)通过调整用户侧的柔性负载来快速应对供需不匹配，成为提高电网可靠性和降低能源成本的有效方法。而面向需求响应下有负荷侧参与的情况，亟需一种有效的智能控制方法来进行负荷控制。

技术实现思路

[0003]本专利技术的目的是提供一种基于强化学习算法的需求侧响应负荷分析方法和装置，基于Q
‑ꢀ
学习理论进行需求侧负荷响应分析，能够为用户参与需求侧负荷响应提供决策参考，从而更加有效的实现负荷控制，减少电网波动，提升电网运行安全性和可靠性。本专利技术采用的技术方案如下。
[0004]一方面，本专利技术提供一种基于强化学习算法的需求侧响应负荷分析方法，包括：
[0005]获取电网用电侧可调负荷信息、电力现货市场信息以及供电侧机组发电信息；
[0006]获取预先构建的基于用户选择的需求响应模型；
[0007]基于所述需求响应模型，将用户负荷动态转移问题转换为离散的无限马尔科夫决策问题；
[0008]基于所述电网用电侧可调负荷信息、电力现货市场信息以及供电侧机组发电信息，采用 Q
‑
>learning算法解决所述离散的无限马尔科夫决策问题，以用户负荷转移的贴现奖励最大为目标，求解得到用户参与负荷转移的最优负荷转移方案。
[0009]可选的，所述用电侧可调负荷信息包括各电力用户的临界负荷和可切除负荷，电力现货市场信息包括各时段的零售电价，供电侧机组发电信息包括最大发电量和机组爬坡率。
[0010]可选的，所述基于用户选择的需求响应模型的目标函数为，考虑负荷转移收益、不舒适成本以及能源供应商激励收益的用户负荷转移利润目标函数F；
[0011]目标函数的求解约束包括用户需求约束、供需平衡约束、负荷转移约束和爬坡率约束。
[0012]可选的，所述用户负荷转移利润目标函数F表示为：
[0013]F＝F
tran
‑
F
sat
+F
inc
[0014]其中，F
tran
表示智能电网中用户的负荷转移收益，F
sat
表示用户的不舒适成本，F
inc
表示能源供应商给予的激励收益，且有：
[0015][0016]式中，为第n个用户在t
j
时刻转移到t
k
时刻的负荷量；分别为t
i
、t
j
、t
k
时刻的零售电价；表示第n个用户在t
j
时刻被切除的负荷量；表示在t
k
时刻参与负荷转移的奖励率；α、β、φ为相关参数，取值为(0
‑
1)，n为用户编号。
[0017]可选的，所述用户需求约束表示为：
[0018][0019][0020][0021]其中，为t
j
时刻第n个用户的用电需求量，为t
j
时刻第n个用户的实际用电量；表示t
j
时刻第n个用户的临界负荷，表示t
j
时刻第n个用户的可切除负荷；
[0022]所述供需平衡约束表示为：
[0023][0024]其中，E
max
(t
j
)表示t
j
时刻供电侧最大发电量；
[0025]所述负荷转移约束表示为：
[0026][0027]其中，表示t
i
时刻第n个用户的可切除负荷；
[0028]所述爬坡率约束表示为：
[0029][0030]其中，U和D分别为发电侧机组向上和向下的爬坡率。
[0031]可选的，基于所述需求响应模型，将用户负荷动态转移问题转换为离散的无限马尔科夫决策问题包括：
[0032]将所述基于用户选择的需求响应模型简化表示为：
[0033][0034]根据需求响应模型，确定离散的无限马尔科夫决策问题的决策过程要素包括：离散时间t、智能体所处的状态动作奖励r(s
t
′
|s
t
,A
t
)、转移概率和折扣因数γ；
[0035]其中，表示用户在t
i
时刻的负荷转移意愿，t为执行负荷转移的离散时间；π
t
表示t时刻的零售电价；λ
t
表示t时刻参与负荷转移的奖励率；表示t时刻供电侧的最大供电量；表示t时刻用户n的电能消费量；表示用户n决定t
i
时刻转移到t
j
时刻的负荷量，表示用户n决定t
j
时刻转移到t
k
时刻的负荷量；表示t时刻所有用户对于负荷是否转移的决策动作行为；r(s
t
′
|s
t
,A
t
)表示在t时刻的状态下确定决策后到下一个时刻获得的立即奖励；表示表示离散时刻t下的状态s
t
转移到下一时刻状态s
t
′
所选择动作的概率；γ表示折扣率，决定即时奖励和未来奖励的重要性。
[0036]可选的，所述转移概率由基于玻尔兹曼分布的方法根据下式确定：
[0037][0038]其中，P(a)表示选择a的概率，τ指温度参数。τ的值越大，则选择策略越偏向于纯粹的随机策略。
[0039]可选的，所述无限马尔科夫决策问题中，用户负荷转移的贴现奖励R
t
表示为：
[0040]R
t
＝r(s
t+1
|s
t
,A
t
)+γr(s
t+2
|s
t+1
,A
t+1
)+γ2r(s
t+3
|s
t+2
,A
t+2
)
…
+γ
T
‑
t
‑1r(s
T
|s
T
‑1,A
T
‑1)
[0041]式中，γ为折扣系数，t1时刻的状态下确定决策后到下一个时刻t2获得的立即奖励根据所述需求响应模型表示为：
[0042][0043]可选的，所述折扣系数γ∈[0，1]，取值区间为0.2～0.8。
[0044]可选的，所述采用Q
‑
learning算法解决所述离散的无限马尔科夫决策问题为，以用户负荷转移的贴现奖励最大为目标，在设定的迭代次数内迭代以下Q...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习算法的需求侧响应负荷分析方法，其特征是，包括：获取电网用电侧可调负荷信息、电力现货市场信息以及供电侧机组发电信息；获取预先构建的基于用户选择的需求响应模型；基于所述需求响应模型，将用户负荷动态转移问题转换为离散的无限马尔科夫决策问题；基于所述电网用电侧可调负荷信息、电力现货市场信息以及供电侧机组发电信息，采用Q
‑
learning算法解决所述离散的无限马尔科夫决策问题，以用户负荷转移的贴现奖励最大为目标，求解得到用户参与负荷转移的最优负荷转移方案。2.根据权利要求1所述的方法，其特征是，所述用电侧可调负荷信息包括各电力用户的临界负荷和可切除负荷，电力现货市场信息包括各时段的零售电价，供电侧机组发电信息包括最大发电量和机组爬坡率。3.根据权利要求2所述的方法，其特征是，所述基于用户选择的需求响应模型的目标函数为，考虑负荷转移收益、不舒适成本以及能源供应商激励收益的用户负荷转移利润目标函数F；目标函数的求解约束包括用户需求约束、供需平衡约束、负荷转移约束和爬坡率约束。4.根据权利要求3所述的方法，其特征是，所述用户负荷转移利润目标函数F表示为：F＝F
tran
‑
F
sat
+F
inc
其中，F
tran
表示智能电网中用户的负荷转移收益，F
sat
表示用户的不舒适成本，F
inc
表示能源供应商给予的激励收益，且有：式中，为第n个用户在t
j
时刻转移到t
k
时刻的负荷量；分别为t
i
、t
j
、t
k
时刻的零售电价；表示第n个用户在t
j
时刻被切除的负荷量；表示在t
k
时刻参与负荷转移的奖励率；α、β、φ为相关参数，n为用户编号。5.根据权利要求4所述的方法，其特征是，所述用户需求约束表示为：5.根据权利要求4所述的方法，其特征是，所述用户需求约束表示为：5.根据权利要求4所述的方法，其特征是，所述用户需求约束表示为：其中，为t
j
时刻第n个用户的用电需求量，为t
j
时刻第n个用户的实际
用电量；表示t
j
时刻第n个用户的临界负荷，表示t
j
时刻第n个用户的可切除负荷；所述供需平衡约束表示为：其中，E
max
(t
j
)表示t
j
时刻供电侧最大发电量；所述负荷转移约束表示为：其中，表示t
i
时刻第n个用户的可切除负荷；所述爬坡率约束表示为：其中，U和D分别为发电侧机组向上和向下的爬坡率。6.根据权利要求5所述的方法，其特征是，基于所述需求响应模型，将用户负荷动态转移问题转换为离散的无...

【专利技术属性】
技术研发人员：刘启斌，魏杰，陈征，
申请(专利权)人：国电南瑞南京控制系统有限公司国电南瑞科技股份有限公司，
类型：发明
国别省市：