基于A2C的非授权频谱资源共享方法技术

本发明专利技术涉及一种基于Advantage Actor

【技术实现步骤摘要】
基于A2C的非授权频谱资源共享方法


[0001]本专利技术属于无线通信
，涉及基于A2C的非授权频谱资源共享方法。

技术介绍

[0002]近年来，通信设备的数量和它们之间交换的数据量不断增长，给当前的蜂窝网络带来了沉重的负担。为了解决这个问题，LTE网络引入了许多新技术，例如大规模多输入多输出MIMO，D2D通信等，尽管有这些先进技术，但有限的许可频谱仍然是容量提升的主要瓶颈。反观非授权频段，尤其是5GHz非授权频段拥有丰富的频谱资源，并且未被充分利用。因此，将LTE网络与传统WiFi系统一起在非授权频段上运行被认为是一种支持爆炸性增长的数据流量的有前途的技术。
[0003]然而现有的未授权频段上已经存在发展十分成熟的无线技术，所以在选择未授权频谱用于通信网络的建设时，就必须考虑与已经存在未授权频段上的无线技术共存的问题。在频谱资源分配上，考虑到LTE是一种采用集中调度的频谱分配方案，而WiFi系统采用的是带有冲突避免的载波侦听多路访问接入技术，规定WiFiAccessPoint(WAP)和WiFi用户在传输前必须监听信道，只有信道空闲时才能接入。二者在频谱资源分配上存在着巨大差异，因此，如果LTE系统运行在相同的频段上，WiFi系统可能受到极大的干扰，影响WiFi用户的体验。因此在保证WiFi网络服务质量的情况下，使二者和谐共存成为了研究热点。
[0004]深度强化学习综合了强化学习无模型的特点以及深度学习处理大数据的能力，在智能决策、无人驾驶、边缘卸载等领域取得了不错的进展。受到深度强化学习的启发，本文明旨在将强化学习策略引入到免授权频谱共享方案中，让Small Base Station(SBS)实时地监控动态环境，挖掘潜在的重要数据和信息，并且自组织地学习接入策略，以实现蜂窝网与WiFi网络公平高效的共存。
[0005]5GHz免授权频段附近有着丰富的带宽资源，将移动通信技术从授权频段拓展到非授权频段有利于5G技术的发展。利用LAA技术作为基础，构建传输速率更高、时延低且耗电量小的网络，可以进一步满足下一代移动通信海量设备的连接需求。

技术实现思路

[0006]有鉴于此，本专利技术提供了一种基于A2C的非授权频谱资源共享方法来解决LTE与WiFi网络共享非授权频谱资源问题，在保证WiFi网络最低性能要求的情况下，使得SBS之间公平共享未授权资源。
[0007]为了达到上述目的，本专利技术提供如下技术方案：
[0008]1.基于AdvantageActor
‑
Critic(A2C)的非授权频谱资源共享方法，包括以下步骤：
[0009]S1：将LTE/WiFi共存场景中的资源共享问题描述成合作博弈过程，并提出A2C强化学习算法来解决该问题；
[0010]S2：设计智能体SBS的动作集合A、奖励函数R，以及状态S；
[0011]S3：初始化环境，每个智能体SBS获取初始状态值s
t
；
[0012]S4：每个智能体SBS将当前状态s
t
输入到自身的Actor网络，独立地选择并执行动作a
t
；
[0013]S5：执行动作a
t
后，智能体SBS根据奖励函数获取环境反馈的r
t
，并进入下一个状态s
t+1
；
[0014]S6：智能体SBS根据环境的反馈更新Actor网络和Critic网络权重，调整接入策略；
[0015]S7：重复步骤S4
‑
S6，直到收敛到最优纳什均衡。
[0016]2.进一步，在步骤S1中，我们将WiFi网络视为一个随机的环境，把LTE/WiFi共存场景中的未授权频谱资源共享问题表述为一个合作博弈过程，引入A2C算法来解决该问题。
[0017]3.进一步，在步骤S2中，针对共存系统，我们的目的旨在充分保护WiFi网络性能的情况下，实现SBS之间公平的共享非授权频谱资源。考虑到不同的SBS有不一样的聚合流量需求，我们定义出吞吐量需求比率β来作为SBS之间公平共享非授权资源的指标，β
j
可表示为其中，u
j
为SBS j的吞吐量，d
ji
为SBS所服务的用户UE i的流量需求。我们的目标是最大化所有SBS之间最小的吞吐量需求比率，以实现SBS之间公平的共享非授权频谱资源。
[0018]除此之外，为了防止WiFi网络性能的显著下降，我们假设每个WiFi用户的最低吞吐量需求R
min
必须被满足。因此，将此共存问题描述为数学公式为：
[0019][0020][0021]其中，R
m
为WAP m的吞吐量，为WAP m所支持的用户数量。
[0022]在保证每个WiFi用户的最低吞吐量被满足的前提下，我们的目标是最大化所有SBS之间最小的吞吐量需求比，以实现SBS之间公平的共享非授权频谱资源。于是，推导出奖励函数的表达式为：
[0023][0024]智能体SBS的动作可表示为信道选择和接入时长的组合，表示为a
t
＝[C
t
,T
t
]，其中C
t
∈{c1,c2,...,c
k
,...,c
K
}，K是非授权信道的数量。T
t
∈{0,T
S
,2T
S
,...,8T
S
},T
S
长度为1ms。
[0025]状态是智能体SBS j决策的基础。其中包括SBS j的吞吐量需求比β
j
，以及与SBS j共享同一条非授权信道的WAP所服务的WiFi用户平均吞吐量R
j
，该类信息可通过监控信道收集。例如解码WiFi数据包头未加密部分，提取网络分配向量NAV中的信息。由此，我们可将状态s
t
表示为：s
t
＝[β
j
，R
j
]。
[0026]4.进一步，在步骤S3中，对LTE/WiFi共存系统进行初始化，得到初始状态s
t
。
[0027]5.进一步，在步骤S4中，每个智能体SBS独立地将s
t
输入到自身的策略网络Actor，输出为所有动作的概率值，根据其策略选择动作a
t
，并将在下一个执行周期内执行该动作。
[0028]6.进一步，在步骤S5中，智能体SBS独立地执行选择的动作，与WAP共享非授权频谱资源，会获得一个在状态s
t
下执行动作a
t
的奖励值环境状态也会从s
t
更新为s
t+1
。
[0029]7.进一步，在步骤S6中，智能体SBS将与环境交互得到的数据，采用最小化损失函数的方式更新Critic网络q(s,a；w)的参数w，通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于A2C的非授权频谱资源共享方法，其特征在于：该方法包括以下步骤：S1：将LTE/WiFi共存场景中的资源共享问题描述成合作博弈过程，并提出A2C强化学习算法来解决该问题；S2：设计智能体SBS的动作集合A、奖励函数R，以及状态S；S3：初始化环境，每个智能体SBS获取初始状态值s
t
；S4：每个智能体SBS将当前状态s
t
喂给自身的Actor网络，独立地选择并执行动作a
t
；S5：执行动作a
t
后，智能体SBS根据奖励函数获取环境反馈的r
t
，并进入下一个状态s
t+1
；S6：智能体SBS根据获得的反馈r
t
更新Critic网络权重θ，调整Actor网络选择动作的策略；S7：重复步骤S4
‑
S6，直到收敛到最优纳什均衡。2.根据权利要求1述的基于A2C的非授权频谱资源共享方法，其特征在于：在步骤S1中，我们将WiFi网络视为一个随机的环境，把LTE
‑
WiFi共存场景中的未授权频谱资源共享问题表述为一个合作博弈过程，引入A2C算法来解决该问题。3.根据权利要求1述的基于A2C的非授权频谱资源共享方法，其特征在于：在步骤S2中，针对共存系统，我们的目的旨在充分保护WiFi网络性能的情况下，实现SBS之间公平的共享非授权频谱资源。考虑到不同的SBS有不一样的聚合流量需求，我们定义出吞吐量需求比率β来作为SBS之间公平共享非授权资源的指标，β
j
可表示为其中，u
j
为SBS j的吞吐量，d
ji
为SBS j所服务的用户UE i的流量需求。我们的目标是最大化所有SBS之间最小的吞吐量需求比率，以实现SBS之间公平的共享非授权频谱资源。除此之外，为了防止WiFi网络性能的显著下降，我们假设每个WiFi用户的最低吞吐量需求R
min
必须被满足。因此，将此共存问题描述为数学公式为：必须被满足。因此，将此共存问题描述为数学公式为：其中，R
m
为WAPm的吞吐量，为WAPm所支持的用户数量。在保证每个WiFi用户的最低吞吐量被满足的前提下，我们的目标是最大化所有SBS之间最小的吞吐量需求比，以实现SBS之间公平的共享非授权频谱资源。于是，推导出奖励函数的表达式为：智能体SBS的动作可表示为信道选择和接入时长的组合，表示为a
t
＝[C
t
,T
t
]，其中C
t
∈{c1,c2,...,c
k
,...,c

【专利技术属性】
技术研发人员：裴二荣，陶凯，徐成义，黄一格，宋珈锐，刘浔翀，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：