【技术实现步骤摘要】
基于A2C算法优化混合供电异构网中能源效率的方法
[0001]本专利技术涉及通信系统物理层
，特别是涉及基于A2C算法优化混合供电异构网中能源效率的方法。
技术介绍
[0002]终端数量的不断增加和数据业务需求的快速增长，传统的单层网络已经不能满足当前科技的快速发展的需求，无线通信网络也面临着巨大的挑战。为了缓解通信网络的巨大压力，研究人员提出了A2C(advantage actor
‑
critic网络)算法，现在的无线接入网络发展成为了由满足广域接入需求的宏基站与满足小区域高密度接入需求的小基站共同组成的A2C算法。为了支持高速移动数据服务并提供更好的覆盖，下一代蜂窝网络预计将广泛部署微蜂窝基站或小蜂窝基站，这些基站可以从传统的宏基站卸载一些用户和流量。虽然系统容量可以提升，网络覆盖可以增强，但大量的小基站部署也会带来新的挑战，如小区干扰、资源浪费和巨大的能源消耗，因此从全局角度优化电网资源变的越来越重要。随着基站数量和能源价格的上涨，能源效率成为电网管理的一个重要问题。
技术实现思路
【技术保护点】
【技术特征摘要】
1.基于A2C算法优化混合供电异构网中能源效率的方法，其特征在于，包括以下步骤：步骤1：根据优化目标构建一个异构网络系统，该系统由宏基站、小基站以及用户组成,将单个小基站看作一个智能体，建立马尔科夫决策过程的状态空间、动作空间和奖励函数，计算宏基站到用户的信干噪比；步骤2：计算宏基站总常规功率，根据定义好的马尔科夫决策过程，构建actor网络和critic网络，对异构网络系统利用A2C算法进行训练；步骤3：小基站用户和环境交互随机获得状态s
t
，将状态s
t
信息传递至actor网络，actor网络根据当前环境的状态s
t
和智能体自身状态选择合适的动作a
t
，获得即时奖励r
t
和t+1时刻的状态s
t+1
，得到动作信息(s
t
，a
t
，r
t
，s
t+1
)；步骤4：将动作信息(s
t
，a
t
，r
t
，s
t+1
)传递给critic网络，对critic网络参数进行更新并最大化奖励，得到最优的小基站部署策略，即资源分配最优；使用户连接到相应的小基站以获得更好的信道，最大化异构网络系统的能源效率。2.根据权利要求1所述基于A2C算法优化混合供电异构网中能源效率的方法，其特征在于，步骤1中计算宏基站到用户的信干噪比具体为，所述宏基站内部署K个小基站和M个用户，根据宏基站与小基站的数量分布情况确定小基站的用户位置；小基站的集合为κ＝{0，1，2，
……
，K}，用户的集合为M＝{0，1，2，
……
M}，假设传统宏基站和附属小基站使用相同的无线电频谱，则用户m在时隙t期间的信干噪比γ
m
为：式中，g
k,m
(t)是用户m在时隙t处宏基站的平均信道增益，p
k,m
(t)是小基站的发射功率；g
i,m
(t)是在时隙t处来自其他干扰基站i的用户m的平均信道增益；p
i
(t)是为用户u
i
(t)服务的基站i的总无线传输功率，的基站i的总无线传输功率，是用户m处加性高斯白噪声的方差。3.根据权利要求2所述基于A2C算法优化混合供电异构网中能源效率的方法，其特征在于，步骤2中计算宏基站总常规功率具体为，所述异构网络系统的总带宽W、带宽B被划分为W/B的子信道，时隙t期间，用户m被分配为b
m
(t)∈{0,1,
……
，W/B}的子信道，异构网络系统在时隙t期间实现的总信息率r
sum
(t)为：将常规电网获得的无线发射功率设置为正值，将可再生能源设备中获得的无线发射功率设置为负值；时隙t时，所述宏基站的总功率为：式中，表示静态功率；η是与无线功率放大器效率相关的系数因子；p
k
(t)是时隙t中与宏基站相关联的所有用户u(t)的总无线传输功率；所述静态功率为从常规电网中获取每个基站的静态功率，宏基站在时隙t处的总常规功率为：
式中，p
k,u
(t)表示宏基站中用户所用功率，u
k
(t)表示用户。4.根据权利要求3所述基于A2C算法优化混合供电异构网中能源效率的方法，其特征在于，在时隙t期间步骤1中异构网络系统的能源效率定义为信息速率与常规功耗的比率ρ
t
，即：5.根据权利要求4所述基于A2C算法优化混合供电异构网中能源效率的方法，其特征在于，步骤1中，所述状态为每个用户的信干噪比γ(t)和每个小基站的电池电量e(t)，即：s
t
＝(γ1(t),γ2(t),...,γ
M
(t),e1(t),e2(t),...,e
K
(t))；动作a
t
表示为宏基站中的用户数u
k
(t)、用户m的子信道数量b
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。