一种共生网络中用户关联的方法技术

本发明专利技术属于无线通信技术领域，涉及一种共生网络中用户关联的方法。本发明专利技术目标是找出一种有效的用户关联方案使所有蜂窝用户的速率和最大。因想要获得全部的实时信道信息非常困难，本发明专利技术提出利用深度强化学习来进行用户关联，然后根据当前总速率大小自适应地调整用户关联方案。基于深度强化学习的用户关联方法：利用在上一帧采集得到的历史信息，通过深度强化学习来进行当前信道预测，进而为在下一帧作出合适的用户关联决策。本发明专利技术不需要实时得到所有链路的信道信息，而是根据历史信息进行预测当前决策的有效信息，进而得到使所有IoT设备合速率最大的用户关联策略。

A Method of User Association in Symbiotic Networks

【技术实现步骤摘要】
一种共生网络中用户关联的方法
本专利技术属于无线通信
，涉及一种共生网络中基于深度强化学习的用户关联的方法。
技术介绍
物联网(IoT)设备数量的指数增长将导致未来对无线频谱和网络基础设施的巨大需求。为了支持大规模IoT设备连接，这非常需要设计一种频谱，能源和基础设施高效的通信技术。共生无线电(SR)被是一种可行的解决方案，在SR中，IoT传输寄生在传统网络中。特别地，IoT设备通过反射从传统发射机接收的信号来发送它们的消息，而不需要有源射频(RF)链。这意味着物联网设备的数据传输使用无源无线电技术，并且不需要专用频谱和基础设施。SR系统有三个节点：RF源，IoT设备和接收机。IoT设备通过改变反射系数来反射环境RF源信号来将信息传输到接收机。接收机接收两种类型的信号：来自RF源的直接链路信号和来自IoT设备的反向散射链路信号。反向散射链路信号包含RF源消息，并且IoT设备的传输速率低于传统系统的传输速率，这意味着反向散射链路可以被视为传统传输的附加路径，来提高传统通信系统的性能。因此SR系统可以实现传统通信系统和IoT通信的互利共生。
技术实现思路
本专利技术考虑蜂窝网络和IoT网络的共生模型，本专利技术设计了如图1所示的共生网络，蜂窝网络中的基站(BS)服务M个蜂窝用户，而IoT网络中的N个IoT设备通过反射来自BS的接收信号来将它们的消息发送到相关的蜂窝用户。本专利技术设计了在此SR网络中的传输协议，如图2所示，BS通过时间多址接入(TDMA)的方式服务多个蜂窝用户，IoT设备仅在一个关联的时隙中发送信息。蜂窝用户使用连续干扰消除(SIC)策略对来自BS和相关联的IoT设备信号进行解码。在此SR网络中，所有的信道由两部分组成：大尺度衰落和小尺度衰落。如图1所示，在SR中，表示从BS到用户m的信道系数，表示从BS到IoT设备n的信道系数，表示从IoT设备n到用户m的信道系数，其中λm,λn,λm,n分别表示大尺度衰落，分别表示对应的小尺度衰落。大尺度衰落和两个通信节点的距离有关，小尺度衰落在一帧中保持不变，但是不同帧之间会发生变化。本专利技术用Jakes模型来表述第t帧的小尺度衰落的变化，即其中m＝1,…,M,n＝1,…,N并且并且em(t),en(t),em,n(t)是服从的独立同分布的随机变量。是指均值为μ方差为σ2的复高斯，ρ是指不同帧之间的信道相关系数。BS在一帧中的一个时隙给用户m传输的信息为xm，IoT设备n将自己的信息cn传送给关联的蜂窝用户，本专利技术假定IoT设备的传输周期是BS传输周期的K倍。则用户m接收到的信号可以写为其中p是BS的传输功率，αn表示IoT设备n的反射系数，um表示用户m端的复高斯噪声，服从分布并且am,n∈{0,1}表示用户关联指数，如果am,n＝1，则与IoT设备n关联的是用户m。蜂窝用户采用SIC方式解码自己的信号和关联的IoT设备的信号，由于来自基站的直接链路能量强于反射链路，因此在接收端先解调蜂窝用户自己的信号，然后在根据能量强弱解调相关联的IoT设备信号。定义并且将信道强度小于hm,n的IoT设备编号放到集合即则用户m端的IoT设备n的信干噪比(SINR)为本专利技术目标是找出一种有效的用户关联方案使所有蜂窝用户的速率和最大，即其中为用户关联指数am,n的集合。在(6)中，想要获得全部的实时信道信息非常困难，由于深度强化学习能够通过在复杂的数据中提取变化规律，进而实现在复杂动态环境中进行有效地决策，本专利技术提出利用深度强化学习来进行用户关联，然后根据当前总速率大小自适应地调整用户关联方案。基于深度强化学习的用户关联方法：利用在上一帧采集得到的历史信息，通过深度强化学习来进行当前信道预测，进而为在下一帧作出合适的用户关联决策。本专利技术提出两种深度强化学习方案来用于用户关联，分别是：中心式深度强化学习，分布式深度强化学习。中心式深度强化学习的的奖励函数(rewardfuction)为中心式深度强化学习在第t帧的状态(state)为其中是第(t-1)帧的能获得的所有反射链路的历史信道信息。每次和环境进行交互后，用户m将与之相关联的IoT设备的信道信息上传给基站，基站更新现有的历史信道信息中心式深度强化学习的动作(action)为其中bn∈{1,…,M}表示与IoT设备n关联的蜂窝用户的标号，动作空间大小为MN。分布式深度强化学习中的深度Q-网络是针对每一个IoT设备，决策既可以在BS做，也可以在IoT设备端做，因此分布式深度强化学习的动作(action)为分布式深度强化学习的在第t帧关于IoT设备n的状态为其中表示关于IoT设备n到所有蜂窝用户的历史信道信息，表示在第(t-1)帧IoT设备n做的决策，n表示IoT设备的编号，表示在第(t-1)帧解码IoT设备n的信息时，其他IoT设备产生的干扰，表示第(t-1)帧IoT设备对其他IoT设备的干扰，其中并且表示第(t-1)帧受IoT设备n影响的其他IoT设备的标号，即分布式深度强化学习的的奖励函数(rewardfuction)为其中本专利技术的有益效果在于，本专利技术不需要实时得到所有链路的信道信息，而是根据历史信息进行预测当前决策的有效信息，进而得到使所有IoT设备合速率最大的用户关联策略。附图说明图1示出了本专利技术中的SR网络模型；图2示出了本专利技术中SR网络中蜂窝通信和IoT通信的帧结构；图3示出了本专利技术中的中心式深度强化学习决策和信息交互流程；图4示出了本专利技术中的分布式深度强化学习决策和信息交互流程；图5示出了本专利技术提出的基于两种深度强化学习的用户关联方案和其他用户关联方案的性能对比；图6出了本专利技术提出的基于分布式深度强化学习用户关联方案在IoT设备数目发生变化时的性能。具体实施方式图1示出了本专利技术中的SR网络模型。本专利技术考虑蜂窝网络和IoT网络的共生模型，蜂窝网络中的基站(BS)服务M个蜂窝用户，而IoT网络中的N个IoT设备通过反射来自BS的接收信号来将它们的消息发送到相关的蜂窝用户。在此SR网络中，所有的信道由两部分组成：大尺度衰落和小尺度衰落。如图1所示，在SR中，表示从BS到用户m的信道系数，表示从BS到IoT设备n的信道系数，表示从IoT设备n到用户m的信道系数，其中λm,λn,λm,n分别表示大尺度衰落，分别表示对应的小尺度衰落。大尺度衰落和两个通信节点的距离有关，小尺度衰落在一帧中保持不变，但是不同帧之间会发生变化。本专利技术用Jakes模型来表述第t帧的小尺度衰落的变化，即其中m＝1,…,M,n＝1,…,N并且并且em(t),en(t),em,n(t)是服从的独立同分布的随机变量。是指均值为μ方差为σ2的复高斯，ρ是指不同帧之间的信道相关系数。图2示出了本专利技术中SR网络中蜂窝通信和IoT通信的帧结构。BS通过时间多址接入(TDMA)的方式服务多个蜂窝用户，IoT设备仅在一个关联的时隙中发送信息。蜂窝用户使用连续干扰消除(SIC)策略对来自BS和相关联的IoT设备信号进行解码。BS在一帧中的一个时隙给用户m传输的信息为xm，IoT设备n将自己的信息cn传送给关联的蜂窝用户，本专利技术假定IoT设备的传输周期是BS传输周期的K倍。则用户m接收到的信号可以写为其中p是BS的传输功率，αn表示IoT设备n的反射系数，um表示本文档来自技高网...

【技术保护点】
1.一种共生网络中用户关联的方法，所述共生网络为由蜂窝网络和物联网IoT网络构成的共生系统，其中，蜂窝网络中的基站BS服务M个蜂窝用户，IoT网络中的N个IoT设备通过反射来自BS的接收信号来将它们的消息发送到相关的蜂窝用户；定义BS在一帧中的一个时隙给用户m传输的信息为xm，IoT设备n将自己的信息cn传送给关联的蜂窝用户，令IoT设备的传输周期是BS传输周期的K倍，则用户m接收到的信号为：

【技术特征摘要】
1.一种共生网络中用户关联的方法，所述共生网络为由蜂窝网络和物联网IoT网络构成的共生系统，其中，蜂窝网络中的基站BS服务M个蜂窝用户，IoT网络中的N个IoT设备通过反射来自BS的接收信号来将它们的消息发送到相关的蜂窝用户；定义BS在一帧中的一个时隙给用户m传输的信息为xm，IoT设备n将自己的信息cn传送给关联的蜂窝用户，令IoT设备的传输周期是BS传输周期的K倍，则用户m接收到的信号为：其中，p是BS的传输功率，αn表示IoT设备n的反射系数，um表示用户m端的复高斯噪声，服从分布并且am,n∈{0,1}表示用户关联指数，定义是若am,n＝1，则与IoT设备n关联的是用户m；表示从BS到用户m的信道系数，表示从BS到IoT设备n的信道系数，表示从IoT设备n到用户m的信道系数，其中λm,λn,λm,n分别表示大尺度衰落，大尺度衰落和两个通信节点的距离有关；分别表示对应的小尺度衰落，采用Jakes模型表述第t帧的小尺度衰落的变化为：其中m＝1,…,M,n＝1,…,N并且em(t),en(t),em,n(t)是服从的独立同分布的随机变量；是指均值为μ方差为σ2的复高斯，ρ是指不同帧之间的信道相关系数；其特征在于，所述用户关联的方法为：以所有蜂窝用户的速率和最大为目标，建立模型：其中为用户关联指数am,n的集合，γm,n为用户m端的IoT设备n的信干噪比：集合中存放的是信道强度小于hm,n的IoT设备编号，其中采用中心式深度强化学习来进行用户关联，具体为：BS根据ε-贪婪策略做出决策，IoT设备基于来自BS的决策来接入相关联的蜂窝用户，蜂窝用户解码相关联的IoT设备信号并将rc(t)和sc(t+1)反馈给BS，BS将经验数据存储到存储器D中，并随机地对D中的经验数据进行小片采样以训练深度Q-网络；ε-贪婪策略是指以ε概率采取随机决策，以1-ε概率采取深度Q-网络获得的结果；rc(t)为中心式深度强化学习的的奖励函数：sc(t)为中心式深度强化学习在第t帧的状态：其中是第(t-1)帧的能获得的所有反射链路的历史信道信息，每次和环境进行交互后，用户m将与之相关联的IoT设备的信道信息上传给基站，基站更新现有的历史信道信息中心式深度强化学习的动作为：其中bn∈{1,…,M}表示与IoT设备n关联...

【专利技术属性】
技术研发人员：梁应敞，张倩倩，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51