基于深度强化学习的城市配电网电压控制方法及系统技术方案

本发明专利技术公开了一种基于深度强化学习的城市配电网电压控制方法，方法包括下述步骤：采用树状结构对配电网进行建模，得到配电网的功率潮流函数；对配电网母线电压偏差进行建模，得到功率潮流函数的有功功率损耗函数以及母线电压偏差函数；以母线电压偏差函数、有功功率损耗函数和功率潮流函数为元素，结合桶形电压势垒函数，设置配电网总奖励目标函数，构建配电网的分布式电压控制模型；通过信息通信将分布式电压控制模型建立为部分马尔科夫博弈模型，设置部分马尔科夫博弈模型的奖励函数、观察空间和行动空间，采用多智能体深度确定性策略梯度算法对部分马尔科夫博弈模型进行求解。本发明专利技术可以给出实时的电压调节决策，并能有效减少电压波动。有效减少电压波动。有效减少电压波动。

【技术实现步骤摘要】
基于深度强化学习的城市配电网电压控制方法及系统


[0001]本专利技术属于配电网电压控制的
，具体涉及一种基于深度强化学习的城市配电网电压控制方法及系统。

技术介绍

[0002]随着经济的发展和科技的进步，工业化和城市化程度不断加深，电力产业发展飞速。虽然化石能源满足了人类的发展需求，但其消耗产生了大量的污染性气体，导致全球环境恶化，极端天气发生频繁，对其他物种也造成了影响，进而影响了生态平衡，使人类对自身生存环境的担忧不断增加。化石能源的枯竭使人们对清洁、绿色的能源需求变得紧迫，发展绿色清洁能源逐渐成为世界各国的共识。因此，可再生能源发展已经成为必然趋势。在此基础上，开发利用光伏、风能、太阳能等可再生能源，对不同能源之间的结构加以调整，加大清洁能源的比重，是缓解改善当下问题的主要途径；由此，分布式发电技术成为新的热点。
[0003]基于光伏、风能以及太阳能等可再生能源发电的分布式电源大力发展，以及储能技术日益成熟，大量分布式电源接入电网中进行联合供电，使传统电网一定程度上摆脱只能通过从主网获取电能的状况。随着对生活品质要求的提升，针对于分布式电源接入电网的供电质量要求也逐步提升，对复杂的电力系统如何能稳定安全运行的问题也提出了挑战。例如，传统电网的潮流一般是从高压侧流向低压侧，但是接入分布式电源可能会使潮流分布发生改变，甚至可能会出现潮流反向等问题；同时以风、光为代表的分布式电源也受季节，气候和时间等因素的影响，出力的不稳定性会危及电网的安全运行；局部电压增加可能会超出限定范围，还可能会造成电压波动与闪变等影响。针对性的分析分布式电源接入电网后的影响，是保证供电可靠性的主要方式，因此研究配电网新能源和储能协同控制策略具有重要意义。

技术实现思路

[0004]本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于深度强化学习的城市配电网电压控制方法，通过构建配电网的分布式电压控制模型，将分布式电压控制模型建立为部分马尔科夫博弈模型，再采用多智能体深度确定性策略梯度算法进行求解，实时获取电压调节决策，有效减少电压波动。
[0005]为了达到上述目的，本专利技术采用以下技术方案：
[0006]一方面，提供一种基于深度强化学习的城市配电网电压控制方法，所述配电网包括光伏系统和储能系统，包括下述步骤：
[0007]S1、采用树状结构对配电网进行建模，得到配电网的功率潮流函数；
[0008]S2、对配电网母线电压偏差进行建模，得到功率潮流函数的有功功率损耗函数以及母线电压偏差函数；
[0009]S3、以母线电压偏差函数、有功功率损耗函数和功率潮流函数为元素，结合桶形电压势垒函数，设置配电网总奖励目标函数，构建配电网的分布式电压控制模型；
[0010]S4、通过信息通信将分布式电压控制模型建立为部分马尔科夫博弈模型，设置部分马尔科夫博弈模型的奖励函数、观察空间和行动空间，采用多智能体深度确定性策略梯度算法对部分马尔科夫博弈模型进行求解。
[0011]作为优选的技术方案，所述得到配电网的功率潮流函数具体为：
[0012]在一个含双母线的的配电网中，以树状结构G＝(N,B)对配电网进行建模，其中，B＝{1,2,...,n)表示一组分支，N＝{0,1,...,n}表示一组节点，即母线；所述节点0被设置为与主网连接，用于平衡配电网的有功功率和无功功率；
[0013]对于每个节点i∈N，v
i
表示节点i的电压大小，θ
i
表示节点i的电压相位，则配电网的功率潮流函数定义为：
[0014]S
i
＝p
i
+jq
i
[0015]其中，S
i
表示节点i的复合功率输入，p
i
为配电网节点i的电压有功功率，j为虚部，q
i
为配电网节点i的电压无功功率，分别定义为：
[0016][0017][0018]式中，N
i
是一组与节点i相连的节点索引，v
i
和v
j
分别表示节点i和节点j的电压大小，p
i
和q
i
分别表示节点i的电压有功功率和无功功率，θ
ij
是节点i和节点j之间的相位差，g
ij
和b
ij
分别代表节点i与节点j形成的支路(i,j)上的电导和电纳。
[0019]作为优选的技术方案，所述得到功率潮流函数的有功功率损耗函数以及母线电压偏差函数，具体为：
[0020]配电网节点i的压降Δv
i
用母线电压偏差函数表示为：
[0021][0022]其中，r
i
和x
i
分别表示节点i所连接支路上的电阻和电抗，共同形成阻抗z
i
；为节点i的有功功率，为节点i的无功功率，v
i
表示配电网中节点i的电压；表示储能系统输入到节点i的有功功率，为光伏系统输出到节点i的有功功率，表示光伏系统输出到节点i的无功功率；
[0023]则功率潮流函数的有功功率损耗函数表示为：
[0024][0025]作为优选的技术方案，所述配电网的分布式电压控制模型表示为：
[0026]min r
[0027][0028][0029][0030][0031]v
i,min
≤v
i
≤v
i,max
,i∈N&i≠0
[0032]v0＝v
ref
[0033]其中，r为分布式电压控制模型的总奖励目标函数；v0＝v
ref
为参考电压给定值；N
PV
为装有光伏系统支路的节点集，N
ESS
为装有储能系统支路的母线集；s
i
代表装有光伏系统支路中光伏逆变器在节点i的边界容量，定义定义为装有光伏系统支路中节点i的最大光伏可调无功功率；为装有储能系统支路中节点i的充电功率最小值；为装有储能系统支路中节点i的充电功率；为装有储能系统支路中节点i的充电功率最大值；为装有储能系统支路中节点i的放电功率；为装有储能系统支路中节点i的放电功率最大值；v
i,min
为配电网中节点i的参考电压最小值；v
i,max
为配电网中节点i的参考电压最大值。
[0034]作为优选的技术方案，所述分布式电压控制模型的总奖励目标函数由平均电压偏差函数、归一化后的总线路损耗函数和无功发电损耗函数构成，表示为：
[0035][0036]其中，ω、μ分别为权重系数，f
Δv
、f
loss
和f
qL
分别是平均电压偏差函数、归一化后的总线路损耗函数和无功发电损耗函数；
[0037]所述归一化后的总线路损耗函数表示为：
[0038][0039]其中，α表示总线损本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度强化学习的城市配电网电压控制方法，所述配电网包括光伏系统和储能系统，其特征在于，包括下述步骤：S1、采用树状结构对配电网进行建模，得到配电网的功率潮流函数；S2、对配电网母线电压偏差进行建模，得到功率潮流函数的有功功率损耗函数以及母线电压偏差函数；S3、以母线电压偏差函数、有功功率损耗函数和功率潮流函数为元素，结合桶形电压势垒函数，设置配电网总奖励目标函数，构建配电网的分布式电压控制模型；S4、通过信息通信将分布式电压控制模型建立为部分马尔科夫博弈模型，设置部分马尔科夫博弈模型的奖励函数、观察空间和行动空间，采用多智能体深度确定性策略梯度算法对部分马尔科夫博弈模型进行求解。2.根据权利要求1所述的基于深度强化学习的城市配电网电压控制方法，其特征在于，所述得到配电网的功率潮流函数具体为：在一个含双母线的的配电网中，以树状结构G＝(N,B)对配电网进行建模，其中，B＝{1,2,...,n)表示一组分支，N＝{0,1,...,n}表示一组节点，即母线；所述节点0被设置为与主网连接，用于平衡配电网的有功功率和无功功率；对于每个节点i∈N，v
i
表示节点i的电压大小，θ
i
表示节点i的电压相位，则配电网的功率潮流函数定义为：S
i
＝p
i
+jq
i
其中，S
i
表示节点i的复合功率输入，p
i
为配电网节点i的电压有功功率，j为虚部，q
i
为配电网节点i的电压无功功率，分别定义为：分别定义为：式中，N
i
是一组与节点i相连的节点索引，v
i
和v
j
分别表示节点i和节点j的电压大小，p
i
和q
i
分别表示节点i的电压有功功率和无功功率，θ
ij
是节点i和节点j之间的相位差，g
ij
和b
ij
分别代表节点i与节点j形成的支路(i,j)上的电导和电纳。3.根据权利要求2所述的一种基于深度强化学习的城市配电网电压控制方法，其特征在于，所述得到功率潮流函数的有功功率损耗函数以及母线电压偏差函数，具体为：配电网节点i的压降Δv
i
用母线电压偏差函数表示为：其中，r
i
和x
i
分别表示节点i所连接支路上的电阻和电抗，共同形成阻抗z
i
；为节点i的有功功率，为节点i的无功功率，v
i
表示配电网中节点i的电压；表示储能系统输入到节点i的有功功率，为光伏系统输出到节点i的有功功率，表示光伏系统输出到节点i的无功功率；则功率潮流函数的有功功率损耗函数表示为：
4.根据权利要求3所述的基于深度强化学习的城市配电网电压控制方法，其特征在于，所述配电网的分布式电压控制模型表示为：min rrrrv
i,min
≤v
i
≤v
i,max
,i∈N&i≠0v0＝v
ref
其中，r为分布式电压控制模型的总奖励目标函数；v0＝v
ref
为参考电压给定值；N
PV
为装有光伏系统支路的节点集，N
ESS
为装有储能系统支路的母线集；s
i
代表装有光伏系统支路中光伏逆变器在节点i的边界容量，定义定义为装有光伏系统支路中节点i的最大光伏可调无功功率；为装有储能系统支路中节点i的充电功率最小值；为装有储能系统支路中节点i的充电功率；为装有储能系统支路中节点i的充电功率最大值；为装有储能系统支路中节点i的放电功率；为装有储能系统支路中节点i的放电功率最大值；v
i,min
为配电网中节点i的参...

【专利技术属性】
技术研发人员：陈明辉，刘奇，王斐，曾顺奇，李东旭，许中，周凯，徐艳，黄维家，王富友，
申请(专利权)人：广东电网有限责任公司广州供电局，
类型：发明
国别省市：