基于深度强化学习的5G移动负载均衡方法技术

本发明专利技术提供了一种基于深度强化学习的5G移动负载均衡方法，包括：初始化参数；开始进行每一轮循环，从已完成初始化的系统环境中获取初始状态后，开始进行每轮内部的每一小步循环；结束当前小步的循环，若当前小步次数未达到设定的最大步数，则转入循环步骤；否则转入下一步；结束当前轮次的循环，若当前轮次次数未达到设定的最大轮次次数，则转入循环步骤；否则转入下一步；利用训练好的动作网络实现移动负载均衡，将系统内各个基站的状态作为动作网络的输入，得到动作网络的输出值并作用到系统中的各个基站，根据A3事件对用户进行切换。本发明专利技术能够实现用户与基站之间的重新分配，进而降低过载小区的负载，实现系统的负载均衡。

5g mobile load balancing method based on deep reinforcement learning

【技术实现步骤摘要】
基于深度强化学习的5G移动负载均衡方法
本专利技术属于移动通信中无线网络
，涉及移动负载均衡优化方法，具体涉及无线通信系统中一种基于深度强化学习的5G超密集微基站移动负载均衡方法。
技术介绍
随着5G时代的到来，由于用户的移动数据流量需求剧增，以及5G的无线频段具有更高的链路损耗，因此需要部署超密集网络来扩大系统容量，提高链路质量以及弥补覆盖盲区。然而，在大量部署微基站的同时，每个微基站的流量波动与负载状态随时间的变化相比宏基站更加剧烈，同时网络的拓扑结构具有很高的复杂性，这对于系统性能与用户的服务质量(QualityofService,QoS)的稳定是不利的。因此在超密集网络的场景下，基站间的负载均衡对于维持网络的鲁棒性具有更重要的意义，同时针对复杂的网络结构以及多样化的用户移动模式，找到一个较好的负载均衡方法是一个具有挑战性的问题。负载均衡问题目前具有广泛的研究，但是，传统的基于强化学习的负载均衡方法因为不能处理连续的动作空间与状态空间，需要对状态空间与动作空间进行离散化，即通过构建表格环境来解决负载均衡的优化问题。但这种方法本文档来自技高网...

【技术保护点】
1.基于深度强化学习的5G移动负载均衡方法，其特征在于，包括如下步骤：/n第一步：初始化参数/n初始化参数包括：隐藏层与神经元数量N

【技术特征摘要】
1.基于深度强化学习的5G移动负载均衡方法，其特征在于，包括如下步骤：
第一步：初始化参数
初始化参数包括：隐藏层与神经元数量Nhid、学习率α、折扣因子γ、软更新因子τ、小批量数据集大小K、经验池容量切换迟滞参数Hyst、物理资源块个数NPRB、动作网络的输出动作取值范围[Ocmin,Ocmax]和载波频率fc；
第二步：开始进行每一轮循环，具体流程如下：
(一)从已完成初始化的系统环境中获取初始状态，本步骤包括如下流程：
(1)计算用户的信干噪比，对于目标基站为s的用户u，其在时刻t的信干噪比SINR定义为：



其中，为干扰基站的集合，Ps和Pi分别是目标基站和干扰基站的发射功率，和分别是用户u在时刻t到目标基站s与干扰基站i的信道增益，N0为噪声功率，通过信道估计得到；获得SINR后，转入步骤(2)；
(2)计算每个用户在一个物理资源块上的最大数据传输速率，在一个PRB上，用户u在时刻t的最大数据传输速率定义如下：



其中，BPRB为一个PRB的带宽，获得后，转入步骤(3)；
(3)计算每个用户所需PRB的数量，假设所有用户都是保证比特速率用户，并且在时刻t所需速率为用户u在时刻t所需要的PRB的数量为：



其中，表示用户u在时刻t所需速率，表示用户u在时刻t的最大数据传输速率，表示向上取整运算；获得后，转入步骤(4)；
(4)计算每个基站的负载，基站s在时刻t的负载定义为用户所需PRB的数量与该基站PRB总数的比值：



其中，Ns为基站s的PRB总数，为基站s在时刻t的用户集合；获得后，转入步骤(5)；
(5)获得初始状态，采用两部分组成状态空间，分别为基站的去均值化负载和边缘用户比例：



其中，为基站的去均值化负载，为系统内所有基站的平均负载，N为系统内总的基站数，到为基站{s1,s2,…,sN}的边缘用户比例，根据A4事件确定；
(二)获取初始状态后，开始进行每轮内部的每一小步循环；本步骤包括如下流程：
(1)选择动作st为系统在时刻t的状态，由第二步的流程(一)中的步骤(5)确定，为动作网络在参数为θa时的策略，输出动作值定义为各个基站的小区偏移量：



其中为各个...

【专利技术属性】
技术研发人员：潘志文，姚猛，刘楠，尤肖虎，
申请(专利权)人：东南大学，网络通信与安全紫金山实验室，
类型：发明
国别省市：江苏;32