当前位置: 首页 > 专利查询>内蒙古大学专利>正文

基于深度强化学习的分布式动态频谱分配方法和设备组成比例

技术编号:41100437 阅读:29 留言:0更新日期:2024-04-25 13:57
本发明专利技术属于通信领域,具体涉及一种基于深度强化学习的分布式动态频谱分配方法及其设备。该方法构建出了具有多用户多信道的CWSN环境,将多用户多信道的用户接入问题建模为一个马尔可夫决策过程,并提出一种用于预测主用户占用状态的深度Q网络模型。本发明专利技术将残差网络结构加入到了DQN中,以解决深度神经网络中由于网络深度导致的性能下降问题。针对构建的DQN模型,每个SU依据感知结果将信道观测值输入到DQN进行训练,以学习最优的频谱接入策略。最后,依据DQN模型输出信道占用状态的预测结果,对每个SU的接入请求进行响应。本发明专利技术解决了采用集中式的DSA方法难以实现对多用户的动态频谱接入问题进行管理的问题。

【技术实现步骤摘要】

本专利技术属于通信领域,具体涉及一种基于深度强化学习的分布式动态频谱分配方法及其设备。


技术介绍

1、认知无线传感器网络(cognitive wireless sensor network,cwsn)将认知无线电技术与无线传感器网络(wireless sensor network,wsn)结合,通过允许大量的传感器节点作为次级用户(secondary user,su)伺机接入主用户(primary user,pu)的空闲频谱来解决wsn网络的频谱资源稀缺问题。其中,动态频谱接入(dynamic spectrum access,dsa)是cwsn的关键技术之一,其任务是根据认知传感器节点的频谱感知数据做出决策,接入某个已授权给pu的空闲频谱。然而,使用该技术时,需要解决的问题是:如何在伺机接入和使用授权频谱的同时,最大限度地减少对pu的干扰;当多个su尝试接入同一频谱时,怎样避免su之间的冲突。

2、传统的解决方法如博弈论、粒子群优化算法和遗传算法等为解决dsa问题提供了解决方案,这些方法虽然实现了频谱复用,但其模型设计复杂、容易陷入局部最优解且本文档来自技高网...

【技术保护点】

1.一种基于深度强化学习的分布式动态频谱分配方法,其特征在于,其用于对认知无线传感器网络中次级用户SU对主用户PU的接入请求进行管理,所述分布式动态频谱分配方法包括如下步骤:

2.如权利要求1所述的基于深度强化学习的分布式动态频谱分配方法,其特征在于:步骤S1的环境模型中,定义认知无线传感器网络中的主用户PU数量为N,次级用户SU的数量为M;则第i个次级用户SUi在信道n上的接收信号的表达式如下:

3.如权利要求2所述的基于深度强化学习的分布式动态频谱分配方法,其特征在于:步骤S2中,构建的马尔可夫决策过程的状态空间O的表达式如下:

>4.如权利要求3所...

【技术特征摘要】

1.一种基于深度强化学习的分布式动态频谱分配方法,其特征在于,其用于对认知无线传感器网络中次级用户su对主用户pu的接入请求进行管理,所述分布式动态频谱分配方法包括如下步骤:

2.如权利要求1所述的基于深度强化学习的分布式动态频谱分配方法,其特征在于:步骤s1的环境模型中,定义认知无线传感器网络中的主用户pu数量为n,次级用户su的数量为m;则第i个次级用户sui在信道n上的接收信号的表达式如下:

3.如权利要求2所述的基于深度强化学习的分布式动态频谱分配方法,其特征在于:步骤s2中,构建的马尔可夫决策过程的状态空间o的表达式如下:

4.如权利要求3所述的基于深度强化学习的分布式动态频谱分配方法,其特征在于:步骤s2中,构建的马尔可夫决策过程的动作空间a的表达式如下:

5.如权利要求4所述的基于深度强化学习的分布式动态频谱分配方法,其特征在于:步骤s2中,构建的马尔可夫决策过程的奖励函数r的表达式如下:

6.如权利要求5所述的基于深度强化学习的分布式动态频谱分配方法,其特征...

【专利技术属性】
技术研发人员:王树彬刘艳超
申请(专利权)人:内蒙古大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1