一种基于Sumtree采样的深度双Q网络动态功率控制方法技术

本发明专利技术涉及无线电通信技术领域，公开了一种基于SumTree采样的深度双Q网络动态功率控制方法，其采用深度双Q网络进行动作价值估计时，先在当前Q网络中先找出最大Q值对应的动作，然后再利用这个选择出来的动作在目标网络里面去计算目标Q值，可以有效减小过度估计，降低损失，提高频谱分配效率，并且本发明专利技术是深度双Q网络训练时的采用是结合优先级和随机抽样，使所有样本都有被抽取到的可能性，既提高了重要经验样本利用率，又可防止样本的多样性降低，避免造成系统的过拟合，加快算法收敛速度，因此，本发明专利技术通过结合优先级和随机抽样与深度双Q网络算法，可提高动态功率控制的成功率。率。率。

【技术实现步骤摘要】
一种基于Sum Tree采样的深度双Q网络动态功率控制方法


[0001]本专利技术涉及无线电通信
，特别是涉及一种基于Sum Tree采样的深度双Q网络动态功率控制方法。

技术介绍

[0002]J.Mitola最早于1999年完整地提出认知无线电(Cognitive Radio，CR)技术的概念，其目的是为了缓解频谱资源短缺和频谱利用率低等问题。认知无线电可以对周围的环境进行学习，并基于学习的结果对自身的行为做出相应的调整。而认知无线电技术在频谱分配中一个重要的作用就是：对取得频谱使用权的主用户(Primary User，PU)正常使用不产生干扰的前提下，次用户(Second User，SU)通过对周围无线电环境的感知，选择合适的机会进行频谱接入，以提高频谱资源的利用率。
[0003]在认知无线网络中，当频谱信道处于空闲状态或者次用户对主用户的干扰不超出主用户能够容忍的最大门限值的情况下，次用户可以自由地使用空闲频谱，此时无需考虑主用户与次用户之间的功率干扰问题。但是当授权频谱被占用或者干扰超出最大门限值的情况下，次用户既希望以较本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Sum Tree采样的深度双Q网络动态功率控制方法，其特征在于，包括：S1、构建频谱共享模型，频谱共享模型包括一个主基站、M个主用户和N个次用户，主用户和次用户随机分布在网路环境中，主用户和次用户以非协作的方式共用同一无线网络；S2、在步骤S1构建的频谱共享模型下，将频谱分配中功率控制问题建模为深度强化学习中的马尔可夫决策过程，训练基于结合优先级和随机抽样的深度双Q网络；深度双Q网络训练完成后输出次用户的功率发射策略；S3、次用户根据步骤S2得到的次用户的功率发射策略得到合适的发射功率进行通信。2.根据权利要求1所述的基于Sum Tree采样的深度双Q网络动态功率控制方法，其特征在于，在步骤S1中，次用户是以下垫式接入到主用户的信道中；主用户自适应控制自身发射功率，次用户根据基于优先级经验回放的深度双Q网络的训练结果更新发射功率；频谱共享模型通过信噪比衡量链路质量，第i个主用户的信噪比为：第j个次用户的信噪比为：其中h
ii
和h
jj
分别表示第i个主用户、第j个次用户的信道增益，P
i
(t)和P
j
(t)分别表示t时刻第i个主用户和第j个次用户的发射功率，h
ij
(t)、h
ji
(t)、h
kj
(t)分别表示第i个主用户与第j个次用户、第j个次用户与第i个主用户、第k个次用户与第j个次用户之间的信道增益，N
i
(t)和N
j
(t)分别表示第i个主用户和第j个次用户接收到的环境噪声；频谱共享模型通过所有次用户总的吞吐量来判断功率分配效果，第j个次用户吞吐量与信噪比之间的关系为：T
j
(t)＝Wlog2(1+γ
j
(t))。3.根据权利要求2所述的基于Sum Tree采样的深度双Q网络动态功率控制方法，其特征在于，主用户的发射功率控制策略如下：在于，主用户的发射功率控制策略如下：其中，μ
i
是主用户信噪比的设定阈值；该策略下主用户在每个时间点t采用逐步更新的方式控制发送功率。当t时刻主用户i的信噪比γ
′
i
(t)≥μ
i
且主用户i预测t+1时刻信噪比γ
′
i
(t)≥μ
i
时，主用户增加发射功率；当t时刻主用户i的信噪比γ
′
i
(t)≥μ
i
且主用户i预测t+1时刻信噪比γ
′
i
(t)≥μ
i
时，主用户减小发射功率；其他情况下保持当前发射功率不变；第i个主用户预测t+1时刻的信噪比为：
4.根据权利要求1所述的基于Sum Tree采样的深度双Q网络动态功率控制方法，其特征在于，步骤S2包括：S2.1、初始化经验池，设定经验池为Sum Tree存储结构；初始化深度双Q网络的Q网络和目标网络的权重参数θ；S2.2、将频谱分配中功率控制问题建模为深度强化学习中的马尔可夫决策过程，建立状态空间S(t)、定义动作空间A(t)以及定义奖励函数R
t
；S2.3、积累具有优先级的经验池；S2.4、训练深度双Q网络。5.根据权利要求5所述的基于Sum Tree采样的深度双Q网络动态功率控制方法，其特征在于，在步骤S2.2中，状态空间S(t)的建立过程如下：频谱共享模型包括若干辅助基站，辅助基站接收主用户和次用户的信息并把信息传输给次用户；假设环境中有X个辅助基站，将各个辅助基站的接收信号强度作为状态空间，即：S(t)＝[s1(t)，s2(t)，...，s
k
(t)，...，s
x
(t)]；其中，第K个辅助基站接收的信号强度为：其中，l
ik
(t)、l
jk
(t)分别表示t时刻辅助基站与主、次用户之间的距离，P
i
(t)和P
j
(t)分别表示t时刻第i个主用户和第j个次用户的发射功率，l0(t)表示...

【专利技术属性】
技术研发人员：刘德荣，刘骏，王永华，林得有，王宇慧，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：