基于无线网络切片的电力专网数字孪生体同步方法技术

本发明专利技术公开了一种基于无线网络切片的电力专网数字孪生体同步方法，包括：S1.构建无线接入网侧的数字孪生电网中电力设备的数字孪生体同步模型；所述同步模型包括目标函数以及约束条件；S2.采用分层多智能体强化学习方法对所述同步模型进行求解，实现无线网络切片的通信资源分配，并基于通信资源分配结果，实现各个电力专网中设备的数字孪生体放置。本发明专利技术能够综合考虑通信资源的分配和数字孪生体的放置以保证电力专网中设备数字孪生体的同步。放置以保证电力专网中设备数字孪生体的同步。放置以保证电力专网中设备数字孪生体的同步。

【技术实现步骤摘要】
基于无线网络切片的电力专网数字孪生体同步方法


[0001]本专利技术涉及电力通信领域，具体涉及一种基于无线网络切片的电力专网数字孪生体同步方法
。

技术介绍

[0002]数字孪生电网是基于数字孪生基础设施的电网数字化，通过在数字空间建设电网
、
环境
、
人员和业务四要素，实现数据驱动的全局
、
全生命周期的数字孪生体，从而达到不断改善的应用目的
。
[0003]电力专网中接入的电力设备数字孪生体模型需要实时更新才能保证数字电网的数据新鲜度，然而通过无线接入网络的电力设备由于无线信道的动态变化
、
无线接入网拥塞情况以及数字孪生体的放置位置，其数字孪生体的同步受到影响
。
因此，对电力设备的数字孪生体同步研究具有十分重要的意义
。
[0004]目前，对数字孪生体的同步研究较少，一方面，已有技术给出了物联网设备的数字孪生体放置方案，旨在最小化物联网设备数字孪生体同步时间，另一方面，已有技术从应用程序角度出发，侧重于使应用程序在所有物理实体上经历的最大数据请求响应延迟最小化
。
尽管现有技术都旨在减少数字孪生体同步时延，然而已有技术都假设数字孪生体同步时有充足的通信资源，在实际无线通信网络场景中，由于无线接入网资源有限，电力专网中的设备接入情况不能实时保证数字孪生体的同步，因此，为解决上述问题，需要一种基于无线网络切片的电力专网数字孪生体同步方法，在研究电力专网中设备数字孪生体放置的时候需考虑通信资源对其同步的影响
。

技术实现思路

[0005]有鉴于此，本专利技术的目的是克服现有技术中的缺陷，提供基于无线网络切片的电力专网数字孪生体同步方法，能够综合考虑通信资源的分配和数字孪生体的放置以保证电力专网中设备数字孪生体的同步
。
[0006]本专利技术的基于无线网络切片的电力专网数字孪生体同步方法，包括如下步骤：
[0007]S1.
构建无线接入网侧的数字孪生电网中电力设备的数字孪生体同步模型；所述同步模型包括目标函数以及约束条件；
[0008]S2.
采用分层多智能体强化学习方法对所述同步模型进行求解，实现无线网络切片的通信资源分配，并基于通信资源分配结果，实现各个电力专网中设备的数字孪生体放置
。
[0009]进一步，所述目标函数为：
[0010]其中，
x,y
分别为通信资源分配自变量和数字孪生体放置自变量，
r
rev
为多个电力设备所具有的总资源，
c
res
为多个电力设备数字孪生体同步所消耗的通信资源和计算资源；
[0011]所述约束条件包括约束条件
C1、
约束条件
C2、
约束条件
C3、
约束条件
C4、
约束条件
C5、
约束条件
C6、
约束条件
C7
；
[0012]所述
C1
：
[0013]其中，
r
n
,l
n
分别为无线网络切片
n
获得的上行传输速率和数据包大小，
λ
n
为无线网络切片
n
中总的数据包到达率；
N
为无线网络切片集合；
[0014]所述
C2
：
[0015]其中，
β
u,n
为电力设备
u
是否接入切片
n
的指示变量，
y
e,u,n
表示接入切片
n
的电力设备
u
是否放置数字孪生体在边缘服务器
e
上的指示变量，
f
e,u,n
为边缘服务器
e
为电力设备
u
提供的计算能力，
F
e
为边缘服务器
e
的最大计算能力；
U
表示电力设备集合；
E
表示边缘服务器集合；
[0016]所述
C3
：
[0017]其中，为电力设备
u
所获的总同步时延；
γ
u
为电力设备
u
所需的同步强度要求；
[0018]所述
C4
：
[0019]其中，
x
n
为无线网络切片
n
的通信资源分配比例；
[0020]所述
C5
：
[0021]所述
C6
：
[0022]所述
C7
：
[0023]进一步，采用分层多智能体强化学习方法对所述同步模型进行求解，具体包括：
[0024]S21.
设计分层多智能体强化学习网络，所述分层多智能体强化学习网络包括用于无线网络通信资源分配的切片控制器
DQN
网络和用于数字孪生体放置的电力设备
DQN
网络；
[0025]S22.
初始化切片控制器
DQN
网络以及电力设备
DQN
网络的网络参数；
[0026]S23.
初始化切片控制器
DQN
网络以及电力设备
DQN
网络的网络环境；
[0027]S24.
获得切片控制器
DQN
网络中切片控制器代理的观测状态
s
t
；
[0028]S25.
切片控制器代理根据观测状态
s
t
采取切片动作
a
t
，并将执行动作
a
t
后所获得的上行传输时延广播给其接入的电力设备；
[0029]S26.
切片控制器代理获得立即奖励
r
t
并进入下一状态
s
t+1
，同时将经验
(s
t
,a
t
,r
t
,s
t+1
)
存入切片控制器代理的经验回放池
D
；
[0030]S27.
电力设备
DQN
网络中电力设备
u
获得观测状态
[0031]S28.
电力设备
u
根据观测状态采取放置动作
[0032]S29.
电力设备
u
获得立即奖励并进入下一状态并将奖励反馈给切片控制器代理，同时将经验存入电力设备
u
的经验回放池
D
u
；
[0033]S21本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于无线网络切片的电力专网数字孪生体同步方法，其特征在于：包括如下步骤：
S1.
构建无线接入网侧的数字孪生电网中电力设备的数字孪生体同步模型；所述同步模型包括目标函数以及约束条件；
S2.
采用分层多智能体强化学习方法对所述同步模型进行求解，实现无线网络切片的通信资源分配，并基于通信资源分配结果，实现各个电力专网中设备的数字孪生体放置
。2.
根据权利要求1所述的基于无线网络切片的电力专网数字孪生体同步方法，其特征在于：所述目标函数为：其中，
x,y
分别为通信资源分配自变量和数字孪生体放置自变量，
r
rev
为多个电力设备所具有的总资源，
c
res
为多个电力设备数字孪生体同步所消耗的通信资源和计算资源；所述约束条件包括约束条件
C1、
约束条件
C2、
约束条件
C3、
约束条件
C4、
约束条件
C5、
约束条件
C6、
约束条件
C7
；所述
C1
：其中，
r
n
,l
n
分别为无线网络切片
n
获得的上行传输速率和数据包大小，
λ
n
为无线网络切片
n
中总的数据包到达率；
N
为无线网络切片集合；所述
C2
：其中，
β
u,n
为电力设备
u
是否接入切片
n
的指示变量，
y
e,u,n
表示接入切片
n
的电力设备
u
是否放置数字孪生体在边缘服务器
e
上的指示变量，
f
e,u,n
为边缘服务器
e
为电力设备
u
提供的计算能力，
F
e
为边缘服务器
e
的最大计算能力；
U
表示电力设备集合；
E
表示边缘服务器集合；所述
C3
：其中，为电力设备
u
所获的总同步时延；
γ
u
为电力设备
u
所需的同步强度要求；所述
C4
：其中，
x
n
为无线网络切片
n
的通信资源分配比例；所述
C5
：所述
C6
：所述
C7
：
3.
根据权利要求1所述的基于无线网络切片的电力专网数字孪生体同步方法，其特征在于：采用分层多智能体强化学习方法对所述同步模型进行求解，具体包括：
S21.
设计分层多智能体强化学习网络，所述分层多智能体强化学习网络包括用于无线网络通信资源分配的切片控制器
DQN
网络和用于数字孪生体放置的电力设备
DQN
网络；
S22.
初始化切片控制器
DQN
网络以及电力设备
DQN
网络的网络参数；
S23.
初始化切片控制器
DQN
网络以及电力设备
DQN
网络的网络环境；
S24.
获得切片控制器
DQN
网络中切片控制器代理的观测状态
s
t
；
S25.
切片控制器代理根据观测状态
s
t
采取切片动作
a
t
，并将执行动作
a
t
后所获得的上行传输时延广播给其接入的电力设备；
S26.
切片控制器代理获得立即奖励
r
t
并进入下一状态
s
t+1
，同时将经验
(s
t
,a
t
,r
t
,s
t+1
)
存入切片控制器代理的经验回放池
D
；
S27.
电力设备
DQN
网络中电力设备
u
获得观测状态
S28.
电力设备
u
根据观测状态采取放置动作
S29.
电力设备
u
获得立即奖励
r
tu
并进入下一状态并将奖励反馈给切片控制器代理，同时将经验存入电力设备
u
的经验回放池
D
u
；
S210.
对于切片控制器代理，从经验回放池
D
中随机采样批量样本，并计算切片控制器
DQN
网络中主网络参数
w
的主网络损失函数
L(w)
；对于电力设备
u
，从经验回放池
D
u
中随机采样批量样本，并计算电力设备
DQN
网络中主网络参数
w
u
的主网络损失函数
L(w
u
)
；
S211.
采用梯度下降法更新主网络参数
w
和主网络参数
w
u
；
S212.
每隔一定的时间步将切片控制器和电力设备的主网络参数复制给对应的目标网络参数；
S213.
判断当前的
DQN
网络训练回合是否结束，若是，则更新回合编号且返回执行步骤
S23
‑
S213
，直至回合达到设定的最大回合数；若否，则返回执行步骤
S24
‑
S213
直至本回合训练结束
。4.
根据权利要求3所述的基于无线网络切片的电力专网数字孪生体同步方法，其特征在于：所述状态
s
t
为：
s
t
＝
(B(t),p
u
(t),g(t),
β
u,n
(t))
n∈N,u∈U
；其中，
B(t),p
u
(t),g(t)
分别表示时隙
t
观测到的预留给数字孪生体同步的通信资源
、
用户的发射功率和用户到基站的信道增益；
β
u,n
(t)
表示时隙
t
电力设备
u
是否接入切片
n
的指示变量，
β
u,n
(t)
＝1表示时隙
t
电力设备
u
接入切片
n
，
β
u,n
(t)
＝0表示时隙
t
电力设备
u
不接入切片
n
；所述动作
a
t
为：
a
t
＝
π
(t)
；其中，
π
(t)∈{...

【专利技术属性】
技术研发人员：吴维农，郑元兵，王定国，汤卫中，周之楠，邓雅文，吴纯模，付泉泳，祖雪莹，邹喆旻，付伟真，
申请(专利权)人：国网重庆市电力公司信息通信分公司，
类型：发明
国别省市：