基于优化的DDPG的RIS辅助非授权频谱共存方法技术

本发明专利技术公开的基于优化的DDPG的RIS辅助非授权频谱共存方法，属于无线通信中的频谱资源分配技术领域。本发明专利技术通过计算蜂窝系统中每个UE的信干噪比和吞吐量、计算WiFi系统中每个STA受到蜂窝系统的干扰，建立通信网络优化模型，将通信网络优化模型转化为马尔科夫过程，并使用基于优化的深度确定性策略梯度DDPG求解，自适应确定gNB的发射波束赋型和RIS的反射波束赋型；即基于优化的深度确定性策略梯度DDPG更有效地辅助基站发射波束赋形和RIS反射波束赋形，提升RIS辅助非授权频谱共存系统的吞吐量和收敛速度，同时将蜂窝网络对WiFi系统的干扰控制在预设范围内，从而实现异构系统之间的协调共存。间的协调共存。间的协调共存。

【技术实现步骤摘要】
基于优化的DDPG的RIS辅助非授权频谱共存方法


[0001]本专利技术涉及基于优化的DDPG的RIS辅助非授权频谱共存方法，属于无线通信中的频谱资源分配


技术介绍

[0002]第五代移动通信技术(the fifth generation mobile communication,5G)发展迅速，而虚拟现实、物联网、直播、智能交通等新型应用激增，使得现有5G蜂窝网络的流量负荷不断增加。人们不仅对流量的需求急剧增加，对网络的传输速度的要求也不断提高。消耗流量的应用和业务往往需要大带宽支持，而现有的5G授权频段频谱资源非常有限。一方面，通过提升5G授权频段的频谱效率可以有一定程度的改善，另一方面，将5G授权频段的部分流量需求卸载到非授权频段上进行传输，是近年来研究人员广泛关注的热点技术。然而已经有些系统，如WiFi和蓝牙工作在非授权频段，因此5G蜂窝网络想要将部分流量业务转移到非授权频段时，需要解决的重要问题是减轻两种不同系统间的干扰。
[0003]智能反射平面(intelligent reflecting surface，RIS)是一种大规模天线阵列设备，由大量可重构无源元件组成，其中每个反射单元都能独立地使入射信号产生一定的相移，从而协同改变反射信号的传播。RIS将接收到的信号反射为无源阵列，不消耗发射功率。另外，RIS技术主要用于提高现有的通信链路性能，具有增强接收信号功率、降低干扰的重要特性。一般通信中，反向散射路径信号属于干扰信号，一般需要在接收端进行抑制或者消除处理，而在RIS增强通信中，直接路径信号和反射路径信号都携带有用信息，因此可以在接收端相干叠加，从而增强接收信号功率、降低干扰。
[0004]RIS辅助非授权频谱共存问题，传统上可由凸优化理论、博弈论、排队论等数学方法来解决。但这些方法计算推导复杂度高，且强烈依赖假设条件，泛化性较差。近年来，一些机器学习方法被应用到解决异构系统共存问题中，例如Q
‑
learning、deep Q network(DQN)等方法，但DQN方法对于大的状态空间性能不稳定，且变量要求是离散的。深度确定性策略梯度(deep deterministic policy gradient,DDPG)方法可以解决上述问题，但在问题模型训练初期，收敛不稳定且速度慢。

技术实现思路

[0005]针对现有RIS辅助非授权频谱共存系统吞吐量最大化方法的复杂度高，或者收敛不稳定且速度慢的问题，本专利技术的主要目的是提供基于优化的DDPG的RIS辅助非授权频谱共存方法，基于优化的深度确定性策略梯度DDPG更有效地辅助基站发射波束赋形和RIS反射波束赋形，从而提升RIS辅助非授权频谱共存系统的吞吐量和收敛速度。
[0006]本专利技术的目的是通过下述技术方案实现的：
[0007]本专利技术公开的基于优化的DDPG的RIS辅助非授权频谱共存方法，通过计算蜂窝系统中每个UE的信干噪比和吞吐量、计算WiFi系统中每个STA受到蜂窝系统的干扰，建立通信网络优化模型，将通信网络优化模型转化为马尔科夫过程，并使用基于优化的深度确定性
策略梯度DDPG求解，自适应确定gNB的发射波束赋型和RIS的反射波束赋型，提高非授权频谱共存系统中蜂窝网络的吞吐量，同时将蜂窝网络对WiFi系统的干扰控制在预设范围内。
[0008]本专利技术公开的基于优化的DDPG的RIS辅助非授权频谱共存方法，应用于RIS辅助非授权频谱共存系统，位于非授权频段，系统中存在一个蜂窝网基站，配有N
t
根发射天线，服务K个单天线蜂窝网用户；一个RIS设备，配有N
r
个反射单元；M个WiFi接入点，每个接入点服务一个单天线WiFi用户。因为WiFi接入点和WiFi用户之间的距离远小于蜂窝网基站和蜂窝网用户之间的距离，将一对WiFi接入点和WiFi用户抽象成一个整体。
[0009]其中，蜂窝网基站简写为gNB，即generationNodeB；蜂窝网用户简写为UE，即User；WiFi接入点简写为AP，即accesspoint；WiFi用户简写为STA，即station。
[0010]本专利技术公开的基于优化的DDPG的RIS辅助非授权频谱共存方法，包括以下步骤：
[0011]步骤一：遍历所有UE和STA，分别计算UE的信干噪比、吞吐量和STA受到蜂窝网络的干扰。
[0012]步骤1.1遍历第k个UE，求出所有UE的信干噪比和吞吐量；
[0013]其中，k的取值范围为1到K，第k个UE的信干噪比，记为λ
k
，第k个UE的吞吐量，记为γ
k
，具体依据(1)(2)计算：
[0014][0015]其中，h
gk
、h
gr
和h
rk
分别表示gNB到UE、gNB到RIS和RIS到UE的信道矩阵，g
mk
、g
mr
和g
rk
分别表示AP到UE，AP到RIS和RIS到UE的信道矩阵，矩阵w表示蜂窝网基站的发射波束赋形矩阵，矩阵Θ表示RIS设备的反射波束赋形矩阵，p
w
表示AP的发射功率，表示噪声项；
[0016]γ
k
＝Wlog2(1+λ
k
)(2)
[0017]其中，W表示带宽；
[0018]步骤1.2遍历第m个STA，求出所有STA受到蜂窝网的干扰；
[0019]其中，m的取值范围为1到M，第m个STA受到的干扰，记为I
m
，具体依据(3)计算：
[0020][0021]其中，h
gm
、h
gr
和h
rm
分别表示gNB到STA、gNB到RIS和RIS到STA的信道矩阵。
[0022]步骤二：基于步骤一获取的UE吞吐量和STA受到蜂窝网的干扰，构造以最大化蜂窝网系统总吞吐量为目标函数的通信网络优化模型，并给出满足蜂窝网对WiFi系统的干扰和gNB发射功率的约束。
[0023]基于步骤一获取的UE吞吐量和STA受到蜂窝网的干扰，构造以最大化蜂窝网系统总吞吐量为目标函数的通信网络优化模型，并且给出满足蜂窝网对WiFi系统的干扰和gNB发射功率的约束，具体为(4)：
[0024][0025]其中，I
th
表示STA所能容忍的最大干扰，Tr()表示矩阵的迹，P表示gNB的最大发射功率限制。
[0026]步骤三：将步骤二建立的通信网络优化模型求解过程转化为马尔科夫过程。
[0027]步骤3.1定义gNB为智能体；
[0028]步骤3.2在每个时间步t下，状态空间定义为当前每个UE的吞吐量，每个STA受到的蜂窝网干扰以及中断标志，也即s
t
＝(γ
t
,I
t,
,o
t
)，其中，如果式(4)中的约束条件不被满足，则o<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于优化的DDPG的RIS辅助非授权频谱共存方法，应用于RIS辅助非授权频谱共存系统，位于非授权频段，系统中存在一个蜂窝网基站，配有N
t
根发射天线，服务K个单天线蜂窝网用户；一个RIS设备，配有N
r
个反射单元；M个WiFi接入点，每个接入点服务一个单天线WiFi用户；因为WiFi接入点和WiFi用户之间的距离远小于蜂窝网基站和蜂窝网用户之间的距离，将一对WiFi接入点和WiFi用户抽象成一个整体；其中，蜂窝网基站简写为gNB，即generationNodeB；蜂窝网用户简写为UE，即User；WiFi接入点简写为AP，即accesspoint；WiFi用户简写为STA，即station；其特征在于：包括以下步骤，步骤一：遍历所有UE和STA，分别计算UE的信干噪比、吞吐量和STA受到蜂窝网络的干扰；步骤二：基于步骤一获取的UE吞吐量和STA受到蜂窝网的干扰，构造以最大化蜂窝网系统总吞吐量为目标函数的通信网络优化模型，并给出满足蜂窝网对WiFi系统的干扰和gNB发射功率的约束；步骤三：将步骤二建立的通信网络优化模型求解过程转化为马尔科夫过程；步骤四：采用基于优化的深度确定性策略梯度DDPG方法，求解步骤三建立的马尔科夫过程，确定最终的gNB发射波束赋形和RIS反射波束赋形。2.如权利要求1所述的基于优化的DDPG的RIS辅助非授权频谱共存方法，其特征在于：还包括步骤五，根据步骤四得到的gNB发射波束赋形和RIS反射波束赋形，提高非授权频谱共存系统中蜂窝网络的吞吐量，同时将蜂窝网络对WiFi系统的干扰控制在预设范围内。3.如权利要求1或2所述的基于优化的DDPG的RIS辅助非授权频谱共存方法，其特征在于：步骤一实现方法为，步骤1.1遍历第k个UE，求出所有UE的信干噪比和吞吐量；其中，k的取值范围为1到K，第k个UE的信干噪比，记为λ
k
，第k个UE的吞吐量，记为γ
k
，具体依据(1)(2)计算：其中，h
gk
、h
gr
和h
rk
分别表示gNB到UE、gNB到RIS和RIS到UE的信道矩阵，g
mk
、g
mr
和g
rk
分别表示AP到UE，AP到RIS和RIS到UE的信道矩阵，矩阵w表示蜂窝网基站的发射波束赋形矩阵，矩阵Θ表示RIS设备的反射波束赋形矩阵，p
w
表示AP的发射功率，表示噪声项；γ
k
＝Wlog2(1+λ
k
)(2)其中，W表示带宽；步骤1.2遍历第m个STA，求出所有STA受到蜂窝网的干扰；其中，m的取值范围为1到M，第m个STA受到的干扰，记为I
m
，具体依据(3)计算：其中，h
gm
、h
gr
和h
rm
分别表示gNB到STA、gNB到RIS和RIS到STA的信道矩阵。
4.如权利要求3所述的基于优化的DDPG的RIS辅助非授权频谱共存方法，其特征在于：步骤二实现方法为，基于步骤一获取的UE吞吐量和STA受到蜂窝网的干扰，构造以最大化蜂窝网系统总吞吐量为目标函数的通信网络优化模型，并且给出满足蜂窝网对WiFi系统的干扰和gNB发射功率的约束，具体为(4)：其中，I
th
表示STA所能容忍的最大干扰，Tr()表示矩阵的迹，P表示gNB的最大发射功率限制。5.如权利要求4所述的基于优化的DDPG的RIS辅助非授权频谱共存方法，其特征在于：步骤三实现方法为，步骤3.1定义gNB为智能体；步骤3.2在每个时间步t下，状态空间定义为当前每个UE的吞吐量，每个STA受到的蜂窝网干扰以及中断标志，也即s
t
＝(γ
t
,I
t
,,o
t
)，其中，如果式(4)中的约束条件不被满足，则o
t
＝1；步骤3.3在每个时间步t下，智能体根据当前观测到的状态和从过去经验中学到的知识，共同决定gNB的发射波束赋形和RIS的反射波束赋形，故定义动作空间a
t
＝(w
t
,θ
t
)；步骤3.4定义奖励函数r
t
(s
t
,a
t
)，具体为(5)：其中...

【专利技术属性】
技术研发人员：费泽松，王文欣，曾鸣，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：