基于模糊逻辑系统和深度强化学习的基站智慧节能方法技术方案

本发明专利技术提出了基于模糊逻辑系统和深度强化学习的基站智慧节能方法，属于基站节能领域，具体为：针对具有宏基站和微基站的通信场景中，各微基站向宏基站实时上报各自的用户和基站信息；宏基站统计场景中所有用户的总数目，判断是否变化，如果是，宏基站使用基于模糊逻辑和深度强化学习的节能接入算法，获取微基站的节能控制策略以及用户的接入基站选择策略，并下发至微基站执行，兼顾基站节能与用户体验；否则，各微基站使用基于模糊逻辑的节能切换算法，实时调整用户接入分布，从而进一步预防突发情况。本发明专利技术平衡了节能和用户服务质量之间的矛盾；利用了能耗评价因子对未来能耗的预测能力，进行有预见性的用户切换，对突发情况做出更积极的相应。情况做出更积极的相应。情况做出更积极的相应。

【技术实现步骤摘要】
基于模糊逻辑系统和深度强化学习的基站智慧节能方法


[0001]本专利技术属于基站节能领域，具体涉及了基于模糊逻辑系统和深度强化学习的基站智慧节能方法。

技术介绍

[0002]随着移动网络的发展，用户对高速率数据传输的需求不断增加。为解决宏基站信号覆盖、传输资源不足的问题，微基站的建设和部署规模不断增加，宏/微基站共存的异构网络成为典型的移动网络场景。然而，基站能耗在移动通信网络的总能耗中占比较大，在部署更多基站满足用户需求的同时，如何采取措施降低基站能耗，是未来网络绿色发展要解决的重点问题。
[0003]基于人工分析的算法适用性和准确性难以保证，基于人工智能的智慧节能技术可以减少人工参与、提高节能的自动程度和智能程度。现有的智慧节能技术关注基站侧的统计参数，学习和预测业务规律，针对不同时段、不同业务规律，采取不同的基站关断策略。
[0004]但是，上述技术存在缺陷：
[0005]1)现有技术以预测的业务量作为节能决策的依据，实际上传输能耗还与信号传输质量有关，因此现有技术缺乏更合适的节能决策依据；
[0006]2)单纯关注于在基站侧采取节能措施，但用户的接入选择对节能效果以及用户服务质量也会产生重要影响；
[0007]3)在愈发复杂多变的移动网络中，由基站侧统计参数学习到的业务场景规律应对突发情况的能力不足。

技术实现思路

[0008]针对上述问题，本专利技术提供基于模糊逻辑系统和深度强化学习的基站智慧节能方法，目的是聚焦于用户侧参数、预估用户所需的耗能情况，基于此给出全局基站的节能策略和全局用户的接入策略、平衡节能和用户服务质量之间的矛盾，同时对突发情况做出更积极的预防和相应。
[0009]所述基于模糊逻辑系统和深度强化学习的基站智慧节能方法，包括：
[0010]步骤一、针对具有宏基站和微基站的通信场景中，各微基站向宏基站实时上报各自的用户和基站信息；
[0011]所述的用户信息包括：用户数目、用户历史信号接收情况、用户业务类型；所述的基站信息包括：微基站的功率等级。
[0012]步骤二、宏基站统计场景中所有用户的总数目，判断是否变化，如果是，宏基站使用基于模糊逻辑和深度强化学习的节能接入算法，获取微基站的节能控制策略以及用户的接入基站选择策略，并下发至微基站执行，兼顾基站节能与用户体验；否则，进入步骤三；
[0013]根据各基站实际服务用户的能力设置各自的初始用户数。
[0014]具体步骤如下：
[0015]步骤201、针对某个目标微基站B，将待接入该微基站的用户u信息及目标微基站B的基站信息，作为变量输入模糊逻辑系统；
[0016]步骤202，设置模糊逻辑系统中每个模糊概念分别对应的隶属度函数；
[0017]隶属度表示模糊逻辑系统的输入/输出精确值符合该模糊概念的程度；同一输入/输出精确值同时符合多个模糊概念；
[0018]线性隶属度函数有：
[0019]三角型隶属度函数
[0020]其中，a1、b1、c1分别表示三角形三个顶点的横坐标；表示输入精确值的上下限范围。
[0021]梯型隶属度函数
[0022]其中，a2、b2、c2、d2分别表示梯形的四个顶点的横坐标；表示输入精确值的上下限范围。
[0023]非线性隶属度函数有：
[0024]高斯型隶属度函数
[0025]a3表示高斯分布的均值，影响曲线中心的横坐标；b3表示高斯分布的方差，影响曲线的宽度；
[0026]钟型隶属度函数
[0027]a4表示影响钟形的长度，b4影响钟形的宽度；c4表示钟形中心的横坐标；
[0028]步骤203，针对单个输入变量S，将输入变量的精确值代入各隶属度函数，输出该输入变量对于各模糊概念的隶属度；
[0029]同理，得到各个输入变量对各模糊概念的隶属度；
[0030]步骤204，将每个输入变量对所有模糊概念的隶属度，进行模糊规则映射，得到对应的输出变量对各个模糊概念的隶属度，进一步去模糊化，转化为最终输出变量的精确值，即为用户u与目标微基站B的能耗评价因子；
[0031]步骤205、统计t时刻，各个用户与各个微基站间的能耗评价因子集合，作为强化学习模型的状态空间；以各个微基站的发射功率及各个用户的接入基站编号为动作决策；以宏/微基站共存的异构网络中的能耗及用户服务性能指标的加权和作为奖励函数；并训练强化学习模型后部署在宏基站；
[0032]状态空间集合为：
[0033][0034]其中M、N分别为异构网络中所有用户总数和所有微基站总数，为第i个微基站与第j个用户间的能耗评价因子；
[0035]动作决策为：
[0036]a
t
＝{[p1,p2,
…
,p
i
,
…
,p
N
],[β1,β2,
…
,β
j
,
…
,β
M
]}；
[0037]p
i
为第i个微基站的发射功率，β
j
第j个用户的接入基站编号；
[0038]奖励函数为：
[0039]r
t
＝
‑
α1W1‑
α2W2‑
α3W3+α4Q
[0040]其中α1、α2、α3、α4为归一化加权系数；W1为t时刻的网络总传输能耗，W2为t时刻基站恒定能耗，W3为t时刻网络全部用户和全部基站间的能耗评估因子的和；Q为用户的服务质量奖励；
[0041]步骤206、宏基站接收微基站新上报的能耗评价因子信息，利用训练好的强化学习模型，输出全部微基站的功率控制决策以及全部用户的接入决策，并将决策下发到各个微基站；
[0042]步骤207、微基站接收下发的决策，根据功率控制决策调整自身发射功率，根据接入决策判断自身所服务的用户是否需要切换接入到其他基站，若是，则将相应的接入决策下发到该用户，否则不做处理；各用户接收接入决策，向各自的新目标基站申请接入；各新目标基站反馈接入请求。
[0043]步骤三、若用户数目不变，各微基站使用基于模糊逻辑的节能切换算法，实时调整用户接入分布，从而进一步预防突发情况。
[0044]具体步骤为：
[0045]步骤301、各微基站记录过去T时间内的平均耗能[θ1,θ2,
…
,θ
N
]，更新各自的能耗门限：
[0046][Θ1,Θ2,
…
,Θ
i
,
…
,Θ
N
]＝ω
×
[θ1,θ2,
…
,θ
N
][0047]Θ
i
为第i个微基站的能耗门限，ω是人为设置的能耗门限系数；
[0048]步骤302、各微基站使用模糊逻辑系统，实时计算并监测接入该本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于模糊逻辑系统和深度强化学习的基站智慧节能方法，其特征在于，具体步骤如下：首先、针对具有宏基站和微基站的通信场景中，各微基站向宏基站实时上报各自的用户和基站信息；然后、宏基站统计场景中所有用户的总数目，判断是否变化，如果是，宏基站使用基于模糊逻辑和深度强化学习的节能接入算法，获取微基站的节能控制策略以及用户的接入基站选择策略，并下发至微基站执行，兼顾基站节能与用户体验；否则，各微基站使用基于模糊逻辑的节能切换算法，实时调整用户接入分布，从而进一步预防突发情况；所述基于模糊逻辑和深度强化学习的节能接入算法，具体步骤如下：步骤201、针对某个目标微基站B，将待接入该微基站的用户u信息及目标微基站B的基站信息，作为变量输入模糊逻辑系统；步骤202，设置模糊逻辑系统中每个模糊概念分别对应的隶属度函数；隶属度表示模糊逻辑系统的输入/输出精确值符合该模糊概念的程度；同一输入/输出精确值同时符合多个模糊概念；步骤203，针对单个输入变量S，将输入变量的精确值代入各隶属度函数，输出该输入变量对于各模糊概念的隶属度；同理，得到各个输入变量对各模糊概念的隶属度；步骤204，将每个输入变量对所有模糊概念的隶属度，进行模糊规则映射，得到对应的输出变量对各个模糊概念的隶属度，进一步去模糊化，转化为最终输出变量的精确值，即为用户u与目标微基站B的能耗评价因子；步骤205、统计t时刻，各个用户与各个微基站间的能耗评价因子集合，作为强化学习模型的状态空间；以各个微基站的发射功率及各个用户的接入基站编号为动作决策；以宏/微基站共存的异构网络中的能耗及用户服务性能指标的加权和作为奖励函数；并训练强化学习模型后部署在宏基站；状态空间集合为：其中M、N分别为异构网络中所有用户总数和所有微基站总数，为第i个微基站与第j个用户间的能耗评价因子；动作决策为：a
t
＝{[p1,p2,
…
,p
i
,
…
,p
N
],[β1,β2,
…
,β
j
,
…
,β
M
]}；p
i
为第i个微基站的发射功率，β
j
第j个用户的接入基站编号；奖励函数为：r
t
＝
‑
α1W1‑
α2W2‑
α3W3+α4Q其中α1、α2、α3、α4为归一化加权系数；W1为t时刻的网络总传输能耗，W2为t时刻基站恒定能耗，W3为t时刻网络全部用户和全部基站间的能耗评估因子的和；Q为用户的服务质量奖励；步骤206、宏基站接收微基站新上报的能耗评价因子信息，利用训练好的强化学习模型，输出全部微基站的功率控制决策以及全部用户的接入决策，并将决策下发到各个微基
站；步骤207、微基站接收下发的决策，根据功率控制决策调整自身发射功率，根据接入决策判断自身所服务的用户是否需要切换接入到其他基站，若是，则将相应的接入决策下发到该用户，否则不做处理；各用户接收接入决策，向各自的新目标基站申请接入；各新目标基站反馈接入请求；所述基于模糊逻辑的节能切换算法，具体步骤为：步骤301、各微基站记录过去T时间内的平均耗能[θ1，θ2，
…
，θ
N
]，更新各自的能耗门限：[Θ1，Θ2，
…
，Θ
i
，
…
，Θ
N
]＝ω
×
[θ1，θ2，
…
，θ
N
]Θ
...

【专利技术属性】
技术研发人员：高月红，杨昊天，王小琦，张欣，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：