一种基于强化学习的基站休眠方法、设备和介质技术

本发明专利技术提出一种基于强化学习的基站休眠方法、设备和介质。所述方法包括：建立深度强化学习模型，对超密集网络中的各个基站的未来流量负载进行预测，确定超密集网络中各个基站的关闭情况。该方法通过引入LSTM模型，通过历史数据来预测网络中各个基站未来的流量负载情况；然后根据预测出的流量负载情况，在保证用户服务质量的情况下，利用强化学习的方法选取合适的基站进行休眠，从而降低网络能耗。从而降低网络能耗。从而降低网络能耗。

【技术实现步骤摘要】
一种基于强化学习的基站休眠方法、设备和介质


[0001]本专利技术属于移动通信
，特别是涉及一种基于强化学习的基站休眠方法、设备和介质。

技术介绍

[0002]随着移动通信数据量的持续大幅度上涨，移动用户设备呈现爆炸性增长趋势，人们对数据流量的需求正在呈指数增长。国际电信联盟无线电标准化组织(ITU
‑
R)提出了超密集组网(Ultra
‑
Dense Network，UDN)的概念，超密集网络通过密集部署微基站来增加系统的吞吐量，来应对人们对高速率的需求。超密集网络在带来高速率、强覆盖的同时，也带来了难以忍受的能耗问题。而且，超密集网络(Ultra
‑
Dense Network,UDN)和毫米波(mmWave)通信作为未来通信的关键技术，网络密集化部署导致的微基站数目的增多，移动通信网络的能耗进一步激增，这使得能耗成为了移动通信的一个关键指标。根据相关数据表明，基站消耗了网络总功耗的60％
‑
80％功耗，因此减少基站的能耗对提高整个网络的能量效率有着重大的意义。由于基站是依据网络负载的峰值部署的，并且还留有很大的容量冗余。网络中的流量负载在时空维度上存在较大的波动，由于业务的潮汐效应，单个基站处于负载峰值的时间只占据整个运行周期的很小一部分，大部分时刻基站实际负载远远小于网络最大容量。在基站零负载的情况下，基站的能耗仍高达50％
‑
60％，这必将导致网络能量效率(Energy Efficiency,EE)的低下和能量的浪费。因此在流量需求较低的时段(如凌晨)，可以将部分低负载基站的接入用户移交给邻近的开启基站，然后将其切换至休眠状态，从而地降低整个网络的能量消耗。
[0003]如何降低基站能耗，学界和业界提出了一系列的方案，其中基站休眠被认为是最好的方法之一，因为这种方案不需要改变网络架构，并且易于实现。基站休眠一方面需要降低网络的能耗水平，另一方面需要保证用户的服务质量。基站的功耗可以分为三个部分：第一部分是功率放大器和射频电路消耗的传输功率，该部分占总体基站功耗的40％
‑
50％的能量消耗；第二部分是，信号处理和空调等设备消耗的功率和基站状态转换时消耗的功率，基站35％的能量消耗在这；第三部分是基站状态转换功率(激活和关闭状态之间的转换)，该部分占基站总功耗的15％。保证用户服务质量主要指，用户接入某个基站后，用户的可达网络速率大于等于其需求速率。因此基站休眠不仅要确定哪些基站休眠，还得考虑基站切换的次数以及用户服务质量。
[0004]目前对于基站休眠的研究中，大部分是一种基于模型的分析方法，基于模型的方法能在理论推到上收获到很好的结果，但是现实中模型与理论模型相差甚远，这使得理论模型和响应的算法难以在现实生活中合理应用。与传统算法相比，机器学习算法在初步研究结果中表现出更好的性能，深度学习作为一种无模型，以数据驱动的方式通过输入输出训练来降低计算的复杂度。但是在复杂的无线系统中，很难获得完美的训练数据，此外训练本身非常耗时。在这种背景下，属于机器学习范畴的强化学习在无线电资源管理更为擅长，强化学习是一种自主学习算法，具有自主自适应性，从而为未来网络赋能，并且在强化学习
中，对于系统模型和先验数据的要求非常宽松，因为它具有很强的自主学习能力。

技术实现思路

[0005]本专利技术目的是为了解决现有技术中的问题，提出了一种基于强化学习的基站休眠方法、设备和介质。该方法通过LSTM预测基站未来流量，根据预测结果确定候选关闭基站，然后在确保满足用户的服务质量和减少工作状态切换的情况下，通过强化学习来确定基站关闭状态。
[0006]本专利技术是通过以下技术方案实现的，本专利技术提出一种基于强化学习的基站休眠方法，具体包括以下步骤：
[0007]步骤1、假设超密集网络是由1个宏基站和N个微基站构成的异构网，其中宏基站负责控制整个网络，微基站负责业务数据传输；宏基站一直处于激活状态；微基站的状态分为激活和休眠两种状态，其决策问题建模成一个二进制整数规划，将这些基站记为集合BS＝{SBS1,...,SBS
N
}，每隔一个周期统计各个基站的流量负载，并将其记录，各个微基站根据历史流量数据应用于LSTM网络中训练各自流量的预测模型；
[0008]步骤2、根据步骤1得到的流量预测模型，统计当前各个微基站的每个时刻的流量值并输入到LSTM网络中，获取微基站在下一统计时刻的流量预测值，并且根据当前时刻的流量负载情况和预测得到的流量负载情况，设置相应的预留资源，避免由于突发业务导致通信链路堵塞问题；
[0009]步骤3、当步骤2的微基站流量预测值和资源预留总和大于门限阈值的时候，将该微基站加入候选关闭微基站集合；
[0010]步骤4、统计候选微基站覆盖范围内的用户数量和各个用户的流量需求；通过CSI
‑
RS反馈获取每个用户的信干噪比SINR；
[0011]步骤5、根据步骤3得到的候选关闭微基站集合和步骤4得到的基站服务用户的流量需求，通过对预测流量大小对候选微基站进行排序，流量小的微基站具有更高的关闭优先级；根据价值函数将流量负载小的微基站覆盖的用户移交给临近的开启的微基站，并且接收微基站根据用户当前速率需求调整其预留资源的大小；
[0012]步骤6、获取每个基站当前时刻的关闭状态集合，以及候选关闭微基站集合内的微基站服务用户的速率；采用ε
‑
greedy策略选择基站关闭集合，得到待关闭微基站集合，如果满足最小速率需求条件，便将其作为一个可选的关闭微基站集合，并计算奖励回报值，将其存储到存储单元memory中，然后从memory中随机选取数据，输入到网络中，从而修正网络模型；如果不符合条件，舍弃这个集合。
[0013]进一步地，微基站i服务的用户j的信干噪比记作SINR
i,j
，当前用户的传输速率记为R
i,j
，根据香农公式可得R
i,j
＝Blog2(1+SINR
i,j
)，其中B是传输带宽。
[0014]进一步地，在步骤1中，微基站历史流量数据为其中表示在t统计时刻时，微基站i的流量数据；运用LSTM网络根据各个微基站的流量数据训练各自的LSTM模型。
[0015]进一步地，所述训练各自的LSTM模型具体为：输入搜集到的基站历史流量数据，将其分为训练数据集合和测试数据集合，用训练数据训练LSTM网络，获取LSTM模型，输入测试数据集，计算误差函数，根据误差修正网络模型，当误差小于门限值后，输出当前微基站的
流量预测模型，并且预测下一统计时刻的流量数据。
[0016]进一步地，对于微基站i，根据微基站i当前流量数据、历史流量数据以及移交用户的速率情况，确定资源预留值大小，当资源预留值与流量预测值之和大于流量门限值的时候，微基站i加入到候选关闭微基站集合中，否则该基站会处于开启状态。
[0017]进一步地，在步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的基站休眠方法，其特征在于，具体包括以下步骤：步骤1、假设超密集网络是由1个宏基站和N个微基站构成的异构网，其中宏基站负责控制整个网络，微基站负责业务数据传输；宏基站一直处于激活状态；微基站的状态分为激活和休眠两种状态，其决策问题建模成一个二进制整数规划，将这些基站记为集合BS＝{SBS1,...,SBS
N
}，每隔一个周期统计各个基站的流量负载，并将其记录，各个微基站根据历史流量数据应用于LSTM网络中训练各自流量的预测模型；步骤2、根据步骤1得到的流量预测模型，统计当前各个微基站的每个时刻的流量值并输入到LSTM网络中，获取微基站在下一统计时刻的流量预测值，并且根据当前时刻的流量负载情况和预测得到的流量负载情况，设置相应的预留资源，避免由于突发业务导致通信链路堵塞问题；步骤3、当步骤2的微基站流量预测值和资源预留总和大于门限阈值的时候，将该微基站加入候选关闭微基站集合；步骤4、统计候选微基站覆盖范围内的用户数量和各个用户的流量需求；通过CSI
‑
RS反馈获取每个用户的信干噪比SINR；步骤5、根据步骤3得到的候选关闭微基站集合和步骤4得到的基站服务用户的流量需求，通过对预测流量大小对候选微基站进行排序，流量小的微基站具有更高的关闭优先级；根据价值函数将流量负载小的微基站覆盖的用户移交给临近的开启的微基站，并且接收微基站根据用户当前速率需求调整其预留资源的大小；步骤6、获取每个基站当前时刻的关闭状态集合，以及候选关闭微基站集合内的微基站服务用户的速率；采用ε
‑
greedy策略选择基站关闭集合，得到待关闭微基站集合，如果满足最小速率需求条件，便将其作为一个可选的关闭微基站集合，并计算奖励回报值，将其存储到存储单元memory中，然后从memory中随机选取数据，输入到网络中，从而修正网络模型；如果不符合条件，舍弃这个集合。2.根据权利要求1所述的方法，其特征在于，微基站i服务的用户j的信干噪比记作SINR
i,j
，当前用户的传输速率记为R
i,j
，根据香农公式可得R
i,j
＝Blog2(1+SINR
i,j
)，其中B是传输带宽。3.根据权利要求2所述的方法，其特征在于，在步骤1中，微基站历史流量数据为其中r
it
表示在t统计时刻时，微基站i的流量数据；运用LSTM网络根据各个微基站的流量数据训练各自的LSTM模型。4.根据权利要求3所述的方法，其特征在于，所述训练各自的LSTM模型具体为：输入搜集到的基站历史流量数据，将其分为训练数据集合...

【专利技术属性】
技术研发人员：吴宣利，陈志杰，付楠楠，吴玮，袁国程，潘天助，
申请(专利权)人：河北远东通信系统工程有限公司，
类型：发明
国别省市：