一种D2D通信系统接入频谱的方法技术方案

本发明专利技术属于无线通信技术领域，涉及一种D2D通信系统接入频谱的方法。本发明专利技术针对D2D通信系统提出一种基于深度强化学习的频谱接入方法，让每个D2D通信设备根据历史和局部信息优化接入频谱的策略，以提高系统的整体容量。和现有的方案相比，本发明专利技术只需让每个D2D通信设备收集本地测量数据(如接收干扰等)和来自于其他D2D通信设备有延迟的反馈信息，而无需实时收集D2D通信设备间的CSI。

A method of accessing spectrum in D2D communication system

The invention belongs to the technical field of wireless communication, and relates to a method for accessing a frequency spectrum of a D2D communication system. The invention proposes a spectrum access method based on deep reinforcement learning for D2D communication system, which enables each D2D communication device to optimize the access spectrum strategy according to history and local information, so as to improve the overall capacity of the system. Compared with the existing scheme, the invention only allows each D2D communication device to collect local measurement data (such as receiving interference, etc.) and feedback information with delay from other D2D communication devices, and does not need to collect CSI between D2D communication devices in real time.

【技术实现步骤摘要】
一种D2D通信系统接入频谱的方法
本专利技术属于无线通信
，涉及一种设备到设备(Device-to-Device，D2D)通信系统接入频谱的方法。
技术介绍
近年来，各类数据密集型移动应用的兴起造成了蜂窝网络流量的爆炸式的增长，给现有的蜂窝系统带来巨大的负担。传统的缓解移动数据拥塞的措施，如增加基站部署数量以及增加蜂窝网络的可用频段等，都需要巨额的基础设施投资。因此，亟需一种低成本的移动流量卸载技术。在此背景下，D2D通信技术应运而生。D2D技术是一种允许近距离的移动终端通过复用蜂窝网络的频谱资源直接进行通信的新型技术。然而，因为D2D通信设备间可能会产生复杂的相互干扰，所以需要精确地协调所有设备的发送策略(如信道和发送功率等)以高效地复用这些有限的频谱。目前现有的方案需要D2D通信系统采集实时的信道状态信息(ChannelStateInformation，CSI)并基于这些信息进行集中运算并向所有D2D通信设备下发它们的发送配置。虽然这种方案能够保证任何时刻都能获得较好的传输速率，但是它们所需要的信息是海量且具有极高时效性要求的，这对控制链路的要求极高且不现实。此外，随着D2D通信设备的增加，这些方案的信令开销和运算复杂度均以指数级增长，这导致系统难以获得较好的可扩展性。
技术实现思路
本专利技术针对D2D通信系统提出一种基于深度强化学习的频谱接入方法，让每个D2D通信设备根据历史和局部信息优化接入频谱的策略，以提高系统的整体容量。和现有的方案相比，本专利技术只需让每个D2D通信设备收集本地测量数据(如接收干扰等)和来自于其他D2D通信设备有延迟的反馈信息，而无需实时收集D2D通信设备间的CSI。如图1所示，本专利技术考虑一个具有M个D2D通信设备及N个信道的D2D通信系统。每个D2D通信设备由一个发送端(Tx)和一个接收端(Rx)组成。宏蜂窝基站(MacroBaseStation，MBS)作为协调者帮助D2D通信设备间的同步和传递反馈信息。本专利技术提出了如图2所示的D2D通信系统的帧结构设计，其帧长与信道的相干时间相同。每一帧包含两部分，分别是预处理阶段和发送阶段。在预处理阶段，每一D2D通信设备分别进行信息反馈(发送反馈信息至相邻D2D通信设备、接收相邻D2D通信设备的反馈信息)、干扰测量、发送-接收端信道估计以及根据以上收集到的信息利用深度强化学习选择一个频谱接入策略(包括信道和发送功率)。最后，所有D2D通信设备的发送端在发送阶段以在选择的信道和发送功率进行信息传输。在该D2D通信系统中，在第t帧时，第m个D2D通信设备的发送端到第k个D2D通信设备的接收端在信道n上的信道响应表示为其中，βm,k是仅与距离有关的路径损耗，是符合Jake’s信道模型的小尺度衰落。相邻帧小尺度衰落的变化可以表述为其中，δ和g(0)都是服从复高斯分布的随机变量，而ρ表示信道相关系数。因此，第m个D2D通信设备，它在第t个帧在信道n上获得的SINR为而它获得的速率是其中，表示第m个D2D通信设备在第t个帧选择的信道；是信道选择变量，若第m个D2D通信设备在第t个帧选择信道n，则否则表示第m个D2D通信设备在第t个帧选择的发送功率；σ2是加性高斯白噪声(AdditiveWhiteGaussianNoise，AWGN)功率。本专利技术的目标是找出一种信道选择和功率控制方案使D2D通信系统的总容量最大化，即其中，和分别表示在第t个帧时所有D2D通信设备的信道选择向量和发送功率向量；表示每个D2D通信设备的发送端的最大发送功率；和分别表示所有D2D通信设备的集合以及所有信道的集合。显然，获得所有即时的CSI是难以实现的。由于深度强化学习能够通过在大量复杂关联的数据中提取它们的关联性和变化规律并据此在动态环境中进行最优决策，本专利技术提出利用深度强化学习让每个D2D通信设备根据历史和局部信息来动态调整接入频谱的策略。由于深度强化学习主要包含状态、动作空间及奖励的设计，下面将以第m个D2D通信设备为例，从以上三方面对本专利技术的设计进行阐述。状态：在第t个帧，该D2D通信设备的状态包括：第t-1个帧及第t-2个帧的功率、信道、速率信息；第t个帧及第t-1个帧的发送-接收端信道估计值；第t个帧及第t-1个帧干扰测量值。因此，本专利技术将第m个D2D通信设备在第t个帧获得的系统状态设计为其中，表示第m个D2D通信设备在第t个帧所测量到的总干扰；表示第m个D2D通信设备在第t个帧所测量到本地CSI(即该D2D通信设备发送-接收端信道CSI)向量。动作空间：在每一个帧的预处理阶段，每个D2D通信设备需要选择一个信道和发送功率，因此，动作空间即设计为其中L是功率的离散数量。奖励：由于该系统的目标是为了提高D2D通信系统的总容量，每个D2D通信设备既要提高自身的速率，同时也需要减少对其他D2D通信设备的干扰。因此，本专利技术将第m个D2D通信设备在第t个帧的奖励设计为值得注意的是，由于相邻的D2D通信设备的信息是有延迟的，若假设每个D2D通信设备需要个帧才能获得其奖励，那么在第t个帧获得的奖励则为是本专利技术的有益效果在于，本专利技术不需要D2D通信设备之间进行实时且大量的CSI交互，而是让每个D2D通信设备利用深度强化学习仅根据本地测量的数据和少量来自于其他相邻设备的延迟信息自主地调整信道和发送功率来最大化整个D2D通信系统的系统容量。附图说明图1示出了本专利技术中的D2D通信系统模型；图2示出了本专利技术中D2D通信系统的帧结构；图3示出了本专利技术中的信息交互和决策流程；图4、图5及图6示出了本专利技术提出的基于深度强化学习的接入策略在信道相关系数分别为0.3、0.6和0.9下得到的D2D通信系统容量；图7和图8示出了本专利技术提出的基于深度强化学习的接入策略在信道相关系数为分别为0.3和0.9时反馈延迟对D2D通信系统容量产生的影响。具体实施方式下面以一种简单的D2D通信系统为例，结合附图和仿真示例对本专利技术进行详细描述，以便本领域的技术人员能够更好地理解本专利技术。图1表示该示例的系统模型，分别由蜂窝移动通信系统和D2D通信系统组成。在本示例中，宏蜂窝基站为D2D通信系统保留一小部分独占的蜂窝频谱。因此蜂窝移动通信系统和D2D通信系统不存在相互干扰，而宏蜂窝基站仅作为中继帮助D2D通信设备之间进行少量且有延迟的控制信息交换。假设在此实例系统中有M个D2D通信设备，N个信道。则表示第t帧时第m个D2D通信设备的发送端到第k个D2D通信设备的接收端在信道n上的信道响应，其中，βm,k是仅与距离有关的路径损耗，是符合Jake’s信道模型的小尺度衰落。相邻帧小尺度衰落的变化可以表述为其中，δ和g(t)在第0帧的初始值g(0)都是服从复高斯分布的随机变量，而ρ表示信道相关系数。图2表示了本专利技术所设计的帧结构，每一帧包含预处理和传输两大阶段。其中预处理阶段又分为反馈、干扰测本文档来自技高网...

【技术保护点】
1.一种D2D通信系统接入频谱的方法，所述D2D通信系统具有M个D2D通信设备及N个信道，每个D2D通信设备由一个发送端Tx和一个接收端Rx组成，宏蜂窝基站MBS作为协调者帮助D2D通信设备间的同步和传递反馈信息，其特征在于，所述接入频谱的方法为：/n设定目标为找出一种信道选择和功率控制方案使D2D通信系统的总容量最大化，建立目标模型为：/n

【技术特征摘要】
1.一种D2D通信系统接入频谱的方法，所述D2D通信系统具有M个D2D通信设备及N个信道，每个D2D通信设备由一个发送端Tx和一个接收端Rx组成，宏蜂窝基站MBS作为协调者帮助D2D通信设备间的同步和传递反馈信息，其特征在于，所述接入频谱的方法为：
设定目标为找出一种信道选择和功率控制方案使D2D通信系统的总容量最大化，建立目标模型为：












其中，和分别表示在第t个帧时所有D2D通信设备的信道选择向量和发送功率向量，表示每个D2D通信设备的发送端的最大发送功率，和分别表示所有D2D通信设备的集合以及所有信道的集合，




表示第m个D2D通信设备在第t个帧选择的信道，是信道选择变量，若第m个D2D通信设备在第t个帧选择信道n，则否则表示第m个D2D通信设备在第t个帧选择的发送功率，σ2是加性高斯白噪声，表示第t帧时第m个D2D通信设备的发送端到第k个D2D通信设备的接收端在信道n上的信道响应，其中，βm,k是仅与距离有关的路径损耗，是符合Jake’s信道模型的小尺度衰落，相邻帧小尺度衰落的变化表述为其中，δ和g(t)在第0帧的初始值g(0)都是服从复高斯分布的随机变量，而ρ表示信道相关系数；

【专利技术属性】
技术研发人员：梁应敞，谭俊杰，张蔺，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51