基于蒙特卡洛树搜索及强化学习算法的配电网规划方法技术

本发明专利技术公开了基于蒙特卡洛树搜索及强化学习算法的配电网规划方法，涉及电力系统优化技术领域，包括以下步骤S1：采集配电网拓扑信息，节点负荷预测数据，计算清洁能源消纳指标及可靠性指标；S2：根据配电网拓扑信息及待规划的设备类型，生成配电网初始规划状态矩阵，并将初始规划状态矩阵设置为当前规划状态矩阵；S3：从当前规划状态矩阵出发，采用蒙特卡洛树搜索算法搜索最优下一步安装的设备类型及安装节点，执行并得到下一个规划状态矩阵；S4：根据新的规划状态矩阵，采用凸优化技术计算规划状态矩阵对应的性能指标，包括清洁能源消纳指标，可靠性指标以及规划状态矩阵的价值；S5：判断性能指标是否达到规划要求；S6：输出规划方案。方案。方案。

【技术实现步骤摘要】
基于蒙特卡洛树搜索及强化学习算法的配电网规划方法


[0001]本专利技术涉及电力系统优化
，具体为基于蒙特卡洛树搜索及强化学习算法的配电网规划方法。

技术介绍

[0002]当前，我国正处于配电网建设全面推进阶段，如何投资建设安全可靠、经济高效、技术先进、环境友好的配电网络设施和服务体系是关系到国民经济和社会发展的重要议题。配电网改造和投资决策是国家未来智能配电网战略发展的需要。另一方面，随着电力市场化改革的推进，配售电公司不断涌现，并逐渐加入市场开展竞争性配电网建设、购电交易和售电业务，面对新形势，国网公司多次发文优化业扩配套电网工程出资界面(国家电网办〔2015〕 1029号文《国家电网公司关于进一步提升业扩报装服务水平的意见》等，在竞争环境下，如何精细分配每一笔投资资金，如何精准实现每一项建设目标，国网公司对投资决策的需求已然由粗转细、由量转质、由追求效果转为追求效益，因而其迫切需要相关技术的有力支撑。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的不足，提供基于蒙特卡洛树搜索及强化学习算法的配电网规划方法。
[0004]本专利技术的目的是通过以下技术方案来实现的：
[0005]基于蒙特卡洛树搜索及强化学习算法的主动配电网规划方法，包括以下步骤：
[0006]S1：采集配电网拓扑信息，节点负荷预测数据，计算清洁能源消纳指标及可靠性指标；
[0007]S2：根据配电网拓扑信息及待规划的设备类型，生成配电网初始规划状态矩阵，并将初始规划状态矩阵设置为当前规划状态矩阵；
[0008]S3：从当前规划状态矩阵出发，采用蒙特卡洛树搜索算法搜索最优下一步安装的设备类型及安装节点，执行并得到下一个规划状态矩阵；
[0009]S4：根据新的规划状态矩阵，采用凸优化技术计算规划状态矩阵对应的性能指标，包括清洁能源消纳指标，可靠性指标以及规划状态矩阵的价值；
[0010]S5：判断性能指标是否达到规划要求；
[0011]S6：输出规划方案。
[0012]进一步的，在所述步骤S1中，清洁能源消纳指标及可靠性指标计算方式为：
[0013][0014][0015]其中，g1表示清洁能源消纳指标；w表示典型场景日编号；表示典型场景日编号
的集合； t表示时间间隔；表示时间间隔的集合；i表示配电网节点编号；表示配电网节点编号的集合；表示在第w个场景中，第t个时刻下，节点i的清洁能源功率削减量；g2表示配电网可靠性指标；表示在第w个场景中，第t个时刻下，节点i的清洁能源功率削减量。
[0016]进一步的，在所述步骤S2中，规划状态矩阵的定义如下：
[0017][0018]其中，sn表示第n轮规划状态矩阵；NB表示配电网节点个数；Nh表示待规划的设备个数。
[0019]进一步的，在所述步骤S3中，蒙特卡洛树搜索算法流程如下：
[0020]S30将初始规划状态矩阵s0设置为当前规划状态矩阵sn；
[0021]S31从当前规划状态矩阵sn出发，首先判断sn是否被访问过，若是，转步骤S32，若否，转步骤S33；
[0022]S32选择下一个规划方案，执行并得到下一个规划状态矩阵sn+1，加入到搜索路径集合中，将当前规划状态矩阵sn设置为sn+1，转到步骤S31；
[0023]S33将当前规划状态矩阵输入深度神经元网络中，预测下一步所有可执行的规划方案执行概率，当前规划状态矩阵的价值，以及当前规划状态矩阵对应的清洁能源消纳指标，可靠性指标；
[0024]S34判断当前状态是否是最终状态，若是，转步骤S36，若否，转步骤S35；
[0025]S35从当前状态开始延搜索路径进行反向更新，更新搜索路径中所有规划状态矩阵对应的统计信息；
[0026]S36判断是否达到最大搜索次数，若是，转步骤S37，若否，转步骤S30；
[0027]S37计算下一步所有可行规划方案的执行概率，输出概率最大的下一步规划方案。
[0028]进一步的在，在所述步骤S32中，下一个规划方案的选择方式如下式：
[0029][0030]其中，Q(s
n
,a)表示在当前状态sn下，选择动作a的价值；c
puct
为一常数，表示算法进行探索的水平；P(s
n
,a)表示在当前状态sn下，选择动作a的概率；N
p
表示状态sn的上一个状态被选择的次数；N
c
表示状态sn的下一个状态被访问的次数。
[0031]进一步的在，在所述步骤S33中，深度神经元网络的参数更新如下：
[0032][0033]其中，l表示神经元网络的损失函数；D表示数据样本的规模；zn表示规划状态矩阵的实际价值；vn表示规划状态矩阵的预测价值；π(a|s
n
)
T
表示在规划状态矩阵sn下，所有可执行的下一步规划方案的执行概率；pn表示在规划状态矩阵sn下，所有可执行的下一步规
划方案的预测概率；g
n
表示在规划状态矩阵sn下，对应的配电网性能指标向量，包括清洁能源消纳指标、可靠性指标；k
n
表示在规划状态矩阵sn下，对应的配电网预测性能指标向量；c表示正则化参数；θ表示深度神经元网络参数矩阵。
[0034]进一步的，在所述步骤S34中，判断当前规划状态矩是否是最终状态的方法如下：
[0035]g
n
≤g
exp
[0036]其中，gexp表示性能指标的期望值。
[0037]进一步的，在所述步骤S35中，规划状态矩阵sn对应的统计信息如下：
[0038]N(s
n
,a),W(s
n
,a),Q(s
n
,a),P(s
n
,a)
[0039]其中N(s
n
,a)表示在规划状态矩阵sn下，选择规划方案a的次数；W(s
n
,a)表示在规划状态矩阵 sn下，选择规划方案a的总价值；Q(s
n
,a)表示在规划状态矩阵sn下，选择规划方案a的平均价值；P(s
n
,a)表示在规划状态矩阵sn下，选择规划方案a的概率。
[0040]进一步的，在所述步骤S35中，反向更新过程如下：
[0041][0042]其中，N(s
n
,a
n
)
old
、N(s
n
,a
n
)
new
表示更新前后在规划状态矩阵sn下，选择规划方案a的次数； W(s
n
,a
n
)
old
、W(s
n
,a
n
)
new
表示更新前后在规划状态矩阵sn下，选择规划方案a的总价值；Q(s...

【技术保护点】

【技术特征摘要】
1.基于蒙特卡洛树搜索及强化学习算法的配电网规划方法，其特征在于，包括S1：采集配电网拓扑信息，节点负荷预测数据，计算清洁能源消纳指标及可靠性指标；S2：根据配电网拓扑信息及待规划的设备类型，生成配电网初始规划状态矩阵，并将初始规划状态矩阵设置为当前规划状态矩阵；S3：从当前规划状态矩阵出发，采用蒙特卡洛树搜索算法搜索最优下一步安装的设备类型及安装节点，执行并得到下一个规划状态矩阵；S4：根据新的规划状态矩阵，采用凸优化技术计算规划状态矩阵对应的性能指标，包括清洁能源消纳指标，可靠性指标以及规划状态矩阵的价值；S5：判断性能指标是否达到规划要求；S6：输出规划方案。2.根据权利要求1所述的基于蒙特卡洛树搜索及强化学习算法的配电网规划方法，其特征在于，所述步骤S1中，清洁能源消纳指标及可靠性指标计算方式为：特征在于，所述步骤S1中，清洁能源消纳指标及可靠性指标计算方式为：其中，g1表示清洁能源消纳指标；w表示典型场景日编号；表示典型场景日编号的集合；t表示时间间隔；表示时间间隔的集合；i表示配电网节点编号；表示配电网节点编号的集合；表示在第w个场景中，第t个时刻下，节点i的清洁能源功率削减量；g2表示配电网可靠性指标；表示在第w个场景中，第t个时刻下，节点i的清洁能源功率削减量。3.根据权利要求1所述的基于蒙特卡洛树搜索及强化学习算法的配电网规划方法，其特征在于，所述步骤S2中，规划状态矩阵的定义如下：其中，sn表示第n轮规划状态矩阵；NB表示配电网节点个数；Nh表示待规划的设备个数。4.根据权利要求1所述的基于蒙特卡洛树搜索及强化学习算法的配电网规划方法，其特征在于，所述步骤S3中，蒙特卡洛树搜索算法流程如下：S30,将初始规划状态矩阵s0设置为当前规划状态矩阵sn；S31,从当前规划状态矩阵sn出发，首先判断sn是否被访问过，若是，转步骤S32，若否，转步骤S33；S32,选择下一个规划方案，执行并得到下一个规划状态矩阵sn+1，加入到搜索路径集合中，将当前规划状态矩阵sn设置为sn+1，转到步骤S31；S33,将当前规划状态矩阵输入深度神经元网络中，预测下一步所有可执行的规划方案执行概率，当前规划状态矩阵的价值，以及当前规划状态矩阵对应的清洁能源消纳指标，可
靠性指标；S34,判断当前状态是否是最终状态，若是，转步骤S36，若否，转步骤S35；S35,从当前状态开始延搜索路径进行反向更新，更新搜索路径中所有规划状态矩阵对应的统计信息；S36,判断是否达到最大搜索次数，若是，转步骤S37，若否，转步骤S30；S37,计算下一步所有可行规划方案的执行概率，输出概率最大的下一步规划方案。5.根据权利要求1所述的基于蒙特卡洛树搜索及强化学习算法的配电网规划方法，其特征在于，在所述步骤S4中，规划状态对应的性能指标计算方式如下：s.t.s.t.s.t.s.t.s.t.s.t.s.t.s.t.s.t.
其中，s
j,h
为规划决策变量，为规划状态矩阵sn中的元素，表示在节点j安装第h种设备；在第w个场景下，t时刻节点i的清洁能源削减量；表示在第w个场景下，t时刻节点i的负荷削减量；c
h,INV
表示第h种设备的安装成本；c
Loss
表示损耗成本；表示在第w个场景下，t时刻流过节点i
‑
j间支路的电流幅值的平方；r
ij
表示节点i
‑
j支路阻抗；表示节点i的清洁能源削减成本；表示节点i的负荷削减成本；表示配电网节点集合；表示待规划的设备集合；...

【专利技术属性】
技术研发人员：刘友波，张曦，向月，高红均，刘俊勇，
申请(专利权)人：四川大学，
类型：发明
国别省市：