基于强化学习的5G配网节点通信优化方法、设备及介质技术

本发明专利技术公开了一种基于强化学习的配网5G通信节点优化方法、设备及介质，该方法包括：1、从5G配网中获取节点的位置以及发射功率；2、建立5G配网强化学习模型，其中，强化学习模型由策略体和执行体组成；3、利用演员—评论家AC算法训练5G配网强化学习模型。本发明专利技术能保证信息高利用率和无线通信的实时性需求，并能找出5G配网节点最优的发射功率，从而能确保配网可以安全高效的运行。安全高效的运行。安全高效的运行。

【技术实现步骤摘要】
基于强化学习的5G配网节点通信优化方法、设备及介质


[0001]本专利技术属于通信领域，具体的说是一种基于强化学习的5G配网节点通信优化方法、设备及介质。

技术介绍

[0002]配网节点数据传输延是一个重要的性能指标。当配网节点数据传输延时高于配网无线通信需求时，会导致配网工作站会无法实时获取电力设备信息，最终可能导致电力系统无法稳定运行。在配网中的复杂电磁环境中，无线通信容易受到干扰。这种干扰可能会导致通信延时的随机波动。当节点发射功率较高时，节点的电磁波信号会传播得更远，减少中继节点个数，降低数据传输延时；但是会覆盖范围更多的传感器节点，影响信道的利用率。节点采用较小的发射功率时又会增加中继节点个数，极大增加自身的端到端延时，无法满足配网无线通信的实时性需求。目前大部分的配网节点通信优化的方案仍然沿用传统思路，无法保证信息高利用率和无线通信的实时性需求。

技术实现思路

[0003]本专利技术是为了解决上述现有技术存在的不足之处，提出一种基于强化学习的5G配网节点通信优化方法、设备及介质，以期在满足5G配网节点通信前提下，得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的5G配网节点通信优化方法，其特征在于，包括以下步骤：步骤1、从5G配网中获取J个节点的位置以及发射功率；步骤2、从5G配网中J个节点中选择一个节点作为策略体，其余J
‑
1个节点分别作为J
‑
1个执行体，并与计算模块一起构成5G配网强化学习模型；其中，所述计算模块由奖励模块和延时模块组成，所述奖励模块用于计算奖励R；所述延时模块用于计算延时T和网络拓扑NG；所述策略体的输入层接收所述奖励R和J
‑
1个执行体的发射功率集合D={d1, d
2 ,
…
, d
i
,
…
, d
J
‑1}并进行处理后，由所述策略体的输出层输出损失Loss，其中，d
i
表示第i个执行体的发射功率，i=1,2,
…
,J
‑
1；J
‑
1个执行体是由结构相同的神经元网络组成，任意一个神经元网络是由选择网络net1和更新网络net2组成；第i个执行体的神经元网络中的选择网络net
1,i
接收第i个执行体的发射功率d
i
，并通过SoftMax函数的处理后，得到第i个执行体选择的动作集合A
i
及其概率集合π(A
i
)，从而根据概率集合π(A
i
)从动作集合A
i
中随机选择一个动作a
i
输出；所述第i个执行体的神经元网络中的更新网络net
2,i
的输入层接收损失Loss、网络拓扑NG和第i个执行体的位置s
i
、动作a
i
，并依次通过更新网络net
2,i
的隐藏层和输出层的处理后，得到隐藏层的参数集合θ
h2,i
及其参数梯度集合f(θ
h2,i
)、输出层的参数集合θ
o2,i
及其参数梯度集合f(θ
o2,i
)；步骤3、利用演员—评论家AC算法训练所述5G配网强化学习模型，并不断迭代更新所述5G配网中J
‑
1个执行体的发射功率集合，直到迭代到最大迭代回合数m
max
为止，从而得到J
‑
1个执行体的全局最小发射功率集合D
min
。2.根据权利要求1所述的基于强化学习的5G配网节点通信优化方法，其特征在于，所述步骤3包括：步骤3.1、定义当前回合数为m，并初始化m=1；步骤3.2、定义当前第m回合下当前训练的次数为t，并初始化t=1；定义当前第m回合下第t次训练的5G配网中J
‑
1个执行体的发射功率集合为D
m,t
={d
1m,t
, d
2m,t
,
…
, d
im,t
,
…
, d
J
‑
1m,t }，其中，d
im,t
表示当前第m回合下第t次训练的5G配网中第i个执行体的发射功率，当t=1时，令d
im,t
的取值为5G配网中获取的第i个节点的发射功率；步骤3.3、所述第i个执行体的选择网络net
1,i
接收第i个执行体的发射功率d
im,t
，通过SoftMax函数处理后，得到第i个执行体在当前第m回合下第t次训练选择的动作集合A
im,t
及其概率集合π(A
im,t
)，从而根据概率集合π(A
im,t
)从动作集合A
im,t
中随机选择一个动作a
im,t
输出，以改变5G配网中第i个执行体的发射功率d
im,t
并得到当前第m回合下第t+1次训练的第i个执行体的发射功率d
im,t+1
，其中，a
im,t
是当前第m回合下第t次训练第i个执行体的动作；步骤3.4、所述延时模块根据J
‑
1个执行体的位置集合和发射功率集合D
m,t
判断5G配网的网络拓扑是否连通，若连通，则计算当前第m回合下第t次训练的延时T
m,t
和奖励R
m,t<...

【专利技术属性】
技术研发人员：孙伟，王文浩，吴应华，刘鑫，杜露露，石倩倩，周亚，李奇越，李帷韬，
申请(专利权)人：国网安徽省电力有限公司滁州供电公司国网安徽省电力有限公司，
类型：发明
国别省市：