一种基于深度强化学习的无人机异构网络能效优化方法技术

本发明专利技术提出一种基于深度强化学习的无人机异构网络能效优化方法，涉及空天一体化的网络优化技术领域。该方法在宏基站、微基站和无人机基站的框架下，采用特高频无线电波和毫米波频段。首先对多小区基站网络信道建模，并将问题归结成一个含有约束条件的优化问题。其次引入深度强化学习算法，将上述模型转化为马尔可夫决策过程。最后通过构建神经网络对参数拟合，输出合适的功率调整值，使累计奖励最大化，从而优化系统的能量效率。解决了在宏基站和微基站环境下覆盖率不足和传统算法收敛慢、能耗高的问题。高的问题。

【技术实现步骤摘要】
一种基于深度强化学习的无人机异构网络能效优化方法


[0001]本专利技术涉及空天一体化的网络优化
，尤其涉及一种基于深度强化学习的无人机异构网络能效优化方法。

技术介绍

[0002]为了满足日益增长的移动终端数量和网络流量需求，第五代移动通信技术应运而生。5G网络能拥有数十倍于4G LTE的网络速度，背后离不开所使用的各种技术，毫米波(millimeter wave，以下简称mmWave)技术就是其中之一。通常将30～300GHz的频域(波长为1～10毫米)的电磁波称为毫米波，在相同天线尺寸下毫米波的波束要比微波的波束窄得多，可以更为清晰地观察到目标的细节。与激光相比，毫米波受气候因素影响较小，而且毫米波元器件的尺寸小，因而更容易小型化，综合了上述优点的毫米波是5G通讯中所使用的主要频段之一。
[0003]另外，IMT
‑
2020推进组总结了5G移动通信系统的4个主要应用场景：连续广覆盖、热点高容量、低功耗大连接、低时延高可靠。这意味着下一代网络里不仅涵盖传统的连续广覆盖和为热点区域用户提供超高速率以及网络极高流量密度，并且还要涵盖物联网相关业务，例如环境监测和车联网等。而这些需求也一定会在B5G和6G中继续得到推广。复杂场景的性能需求带来了众多挑战，为此需提出更多新型有效的解决方案。其中，超密集组网成为提升系统性能的重要研究方向之一。然而，在一些特殊场景中，如：自然灾害发生的地区、人员密集网络需求量高的地区，地面基站由于不可抗力因素损毁或者网络需求量大，仅仅依靠地面网络并不能完全应对，如何使用更加灵活、可靠、稳定的方式确保用户得到更好的服务质量(Quality of Service，以下简称QoS)是当今运营商需要考虑的一个问题之一。近年来，无人机(Unmanned Aerial Vehicle，以下简称UAV)作为空中基站的方案得到了广泛的关注，在低空域部署无人机可能是一种为蜂窝基础设施有限地理区域提供无线连通有效方法。移动无人机在临时事件期间，可按需提供连接、高数据率无线服务和流量卸载机会。例如，在7.20河南暴雨中，翼龙
‑
2H号无人机就曾作为空中基站，为灾区执行应急通信保障任务。利用无人机作为空中基站进行部署，提供可靠且有着高能量效率的通信服务，这种方法非常适用于基站密集异构且频段资源复杂需要妥善处理的场景。

技术实现思路

[0004]针对现有技术的不足，本专利技术提供了一种基于深度强化学习的无人机异构网络能效优化方法。
[0005]一种基于深度强化学习的无人机异构网络能效优化方法，具体步骤如下：
[0006]步骤1：采集小区基站种类I、基站数量N、用户数量M和基站频段数据，根据小区基站种类I、基站数量N、用户数量M和基站频段建立小区异构网络模型；
[0007]所述小区基站种类I包含一个宏基站MBS、D个无人机基站UBS和A个微基站SBS；则基站数量N＝1+A+D；宏基站用n
M
表示，第i个微基站用表示，第i个无人机基站用表示；
mmWave的非视距路径损耗指数和阴影衰落；f
c
代表子载波的频率，r是用户m和微基站n之间的欧氏距离；
[0024]与微基站连接的用户的路径损耗为：
[0025][0026]用户和无人机基站UBS之间的路径损耗也分为视距和非视距两种情况，无人机和用户间的路径损耗表示为：
[0027][0028]其中，p
LoS
是视距条件的概率，p
NLoS
是非视距条件的概率，L
mmWave，LoS
(r)是无人机和用户间视距条件的路径损耗；L
mmWave，NLoS
(r)无人机和用户间非视距条件的路径损耗；
[0029]其中，p
LOS
是视距条件的概率表示为：
[0030][0031]其中，θ代表用户m和无人机n之间的倾向角，exp代表以自然常数e为底的指数函数，a和b是受环境影响的固定参数；
[0032]则非视距条件的概率为p
NLos
＝1
‑
p
LoS
；
[0033]UBS或SBSmmWave到用户m的SINR即SINR
m,n
示为：
[0034][0035]其中k代表基站所属的层数，k∈{UBS,SBS
mmWave
}代表这里的基站属于四层异构网络结构中的宏基站UBS和使用子载波为mmWave的微基站SBS
mmWave
；当k为UBS层时，为无人机基站和用户m之间的发射功率，为无人机基站和用户m之间的信道增益，θ
e
为无人机基站波束对准的方位角，G(θ
e
)为方位角相关天线增益，具体函数形式与使用的天线有关；σ2为高斯白噪声的方差，μ是无人机基站和用户m的多径衰落的包络，l表示除n以外的属于Θ
mmWave
的基站，所以表示除无人机基站以外的属于Θ
mmWave
基站与用户m之间的发射功率；当k为SBS
mmWave
层时，为微基站和用户m之间的发射功率，为微基站和用户m之间的信道增益，θ
e
为微基站波束对准的方位角，G(θ
e
)为方位角相关天线增益，具体函数形式与使用的天线有关；σ2为高斯白噪声的方差，μ是微基站和用户m的多径衰落的包络，l表示除n以外的属于Θ
mmWave
的基站，所以表示除微基站以外的属于Θ
mmWave
基站与用户m之间的发射功率；
[0036]步骤4：结合步骤2和步骤3中的UHF信道模型以及mmWave信道模型，对通信系统能量效率进行优化；
[0037]综合步骤2和步骤3中的信道模型，与上述计算的第k层基站n相连接的用户m的速率为：其中，n为n
M
或或
[0038][0039]其中，Ω
k
是分配给当前计算的基站n的带宽比例，B
k
代表第k层的总带宽，为用户m和当前计算的基站n基于第k层信号与干扰加噪声比；
[0040]功率分配要求所有用户的速率不低于最低要求速率
[0041]对于通信系统，总吞吐量为：
[0042][0043]将通信系统的能量效率用通信系统发送的产出与投入的比值来表示：
[0044][0045]其中，上式分子是所有可用的子载波的传输速率，为系统的功率产出；分母是子载波上基站的发射功率，为系统的功率投入；
[0046]通过调整子载波上基站的发射功率使得EE最大化，最大化能效的效益函数的优化问题表示为：
[0047][0048][0049][0050][0051][0052][0053]为用户的传输速率，P
max
和P
min
分别是用户m和当前计算的基站n基于第k层异构网络功率；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的无人机异构网络能效优化方法，其特征在于，具体步骤如下：步骤1：采集小区基站种类I、基站数量N、用户数量M和基站频段数据，根据小区基站种类I、基站数量N、用户数量M和基站频段建立小区异构网络模型；步骤2：根据自由空间路径损耗，建立UHF信道模型；步骤3：根据自由空间路径损耗，建立mmWave信道模型；步骤4：结合步骤2和步骤3中的UHF信道模型以及mmWave信道模型，对通信系统能量效率进行优化；步骤5：将异构网络能效优化问题映射到深度强化学习算法中，对异构网络能效进行优化。2.根据权利要求1所述的一种基于深度强化学习的无人机异构网络能效优化方法，其特征在于，步骤1中所述建立小区异构网络模型为：所述小区基站种类I包含一个宏基站MBS、D个无人机基站UBS和A个微基站SBS；则基站数量N＝1+A+D；宏基站用n
M
表示，第i个微基站用表示，第i个无人机基站用表示；所有基站都采用特高频无线电波Ultra High Frequency即UHF和毫米波频段，宏基站和部分微基站共享B
UHF
个UHF子载波，其中B
UHF
代表使用频段为UHF的子载波的数量；所有的无人机即UAV和其它微基站共享B
mmWave
个mmWave频段资源，其中B
mmWave
代表使用频段为mmWave的子载波的数量；将上述所有基站分为四层的异构网络，建立基站集k∈{MBS,UBS,SBS
UHF
,SBS
mmWave
}，其中，SBS
UHF
为子载波频段为UHF的微基站，SBS
mmWave
为子载波频段为mmWave的微基站；根据所属的子载波频段将基站集中的数据分为两类基站集以UHF为子载波频段构成的基站集为Θ
UHF
；以mmWave为子载波频段构成的基站集为Θ
mmWave
；所述用户数量M中，每个用户获得最小速率R
min
，每个用户只由一个基站提供服务，并将其它基站看作干扰。3.根据权利要求1所述的一种基于深度强化学习的无人机异构网络能效优化方法，其特征在于，步骤中所述建立UHF信道模型为：与基站集合Θ
UHF
连接的用户的路径损耗为：其中，λ
c
是载波波长，α是UHF链接的路径衰减指数，χ
UHF
是UHF链接路径阴影衰落；r是用户m和无人机基站n之间的欧氏距离，表示为：(x
m
,y
m
,0)和(x
n
,y
n
,z
n
)分别是用户m和UBSn的坐标，UBSn表示无人机基站n；其中，x
m
和x
n
分别表示用户m和无人机基站在坐标系中的横坐标，y
m
和y
n
分别表示用户m和无人机基站在坐标系中的纵坐标，z
n
代表无人机的飞行高度；距离MBS或者SBS
UHF
基站距离为r的用户得到的信号与干扰加噪声比即SINR为：
其中，k代表基站所属的层数，k∈{MBS,SBS
UHF
}代表这里的基站属于四层异构网络结构中的宏基站MBS和使用子载波为UHF的微基站SBS
UHF
；当k为MBS层时，为宏基站n
M
和用户m之间的发射功率，为宏基站n
M
和用户m之间的信道增益，μ为宏基站n
M
到用户m的多径衰落的包络；当k为SBS
UHF
层时，为微基站和用户m之间的发射功率，为微基站和用户m之间的信道增益，μ为微基站到用户m的多径衰落的包络；信道中噪声是均值为0，方差为σ2的高斯白噪声，l表示除n以外的属于Θ
UHF
的基站，所以当k为MBS层时，表示除宏基站n
M
以外的属于Θ
UHF
基站与用户m之间的发射功率，当k为SBS
UHF
层时，表示除微基站以外的属于Θ
UHF
基站与用户m之间的发射功率。4.根据权利要求1所述的一种基于深度强化学习的无人机异构网络能效优化方法，其特征在于，步骤中所述建立mmWave信道模型为：将无线通信系统的传播条件分成视距条件LoS和非视距条件NLoS两种情况；在视距和非视距条件下与基站集合Θ
mmWave
连接的用户的路径损耗如下所示：α
L
和χ
...

【专利技术属性】
技术研发人员：陈佳美，吕时安，王垚，李玉峰，王宇鹏，
申请(专利权)人：沈阳航空航天大学，
类型：发明
国别省市：