一种基于深度强化学习的上行NOMA资源分配方法组成比例

本发明专利技术公开了一种基于深度强化学习的上行NOMA资源分配方法。该方法在满足每个用户最小传输速率的情况下，通过选择最优的子信道分配策略和功率分配策略，提高整个系统的能量效率，有效减少传输消耗的功率。本方法基于深度强化学习中的深度Q网络，根据NOMA系统的反馈调整网络参数，实现最优的子信道和功率分配。本方法通过功率离散化将深度Q网络适配于连续性资源分配任务，利用分布式的网络结构降低网络的输出维度，进而提高整个资源分配网络的性能。与其他方法相比，本方法能够取得更好的平均总体能量效率，并且在不同传输功率限制的条件下均能取得良好的性能。件下均能取得良好的性能。件下均能取得良好的性能。

【技术实现步骤摘要】
一种基于深度强化学习的上行NOMA资源分配方法


[0001]本专利技术涉及移动通信和强化学习邻域，具体涉及一种基于深度强化学习的上行NOMA无线资源分配方法。

技术介绍

[0002]第五代通信网络(5G)需要满足飞速上涨的无线数据流量需求，支持高密度的移动用户通信，并且提供各种无线网络服务。最近提出的非正交多址接入技术(Non
‑
Orthogonal Multiple Access，NOMA)，被认为是一种可以有效提高网络容量，满足低延迟、大规模连接和高吞吐量的新兴技术。一方面，与传统的正交多址接入技术(Orthogonal Multiple Access，OMA)相比，NOMA在发射端利用叠加编码(Superposition Coding，SC)技术，用不同的功率等级把同一个子信道分配给多个用户同时传输，共享信道资源，然后在接收端利用串行干扰消除(Successive Interference Cancellation，SIC)技术消除干扰，使得频谱效率和系统容量大大提高，非常适合未来的移动通信。
[0003]另一方面，由于NOMA系统的性能增益与子信道和传输功率的分配方式密切相关，所以通过设计合理的资源分配方案，可以最大化整个NOMA系统的能量效率。从而实现利用较低的发送功率获得较高的传输速率，在充分利用NOMA技术优势的同时，减少不必要的资源浪费。目前已有的研究中提出了不同的方法来研究NOMA系统的最优资源分配方案。
[0004]通过对现有文献的检索发现。T.Manglayev等人在《IEEE International Conference on Application of Information and Communication Technologies,Oct.2016,pp.1
‑
4.(电气和电子工程师协会信息和通信技术应用国际会议，2016年10月，第1
‑
4页)》上发表了题为“Optimum power allocation for non
‑
orthogonal multiple access(NOMA)(非正交多址(NOMA)的最佳功率分配)”一文。该文提出了一种结合公平性因子的最大化容量的功率分配算法，并且仿真证明了使用NOMA技术可以比原有OMA技术获得更高的频谱效率。Y.Zhang等人在《IEEE Transactions on Vehicular Technology,Mar.2017,vol.66,no.3,pp.2852
‑
2857.(电气和电子工程师协会车载技术期刊，2017年3月，第66卷，第3期，第2852
‑
2857页)》上发表了题为“Energy
‑
efficient transmission design in non
‑
orthogonal multiple access(非正交多址的能量效率传输设计)”一文。该文提出了一种满足用户最小速率需求的最大化能量效率的功率分配策略。另检索发现，M.S.Ali等人在《IEEE Transactions on Communications,Sep.2018,vol.66,no.9pp.3982
‑
3998.(电气和电子工程师协会通信期刊，2018年9月，第66卷，第9期，第3982
‑
3998页)》上发表了题为“Downlink power allocation for CoMP
‑
NOMA in multi
‑
cell networks(多小区网络中协调多点NOMA的下行链路功率分配)”一文，该文研究了多小区的下行NOMA功率分配方案，并提出了一种分布式的功率优化算法来降低计计算复杂度，通过仿真分析了多小区NOMA系统的频谱效率和能量效率性能。以上三篇文献都仅注重于NOMA系统中的功率分配方案，然而，子信道分配方案的好坏对整个系统效率的提升也有很大的影响。
[0005]经检索还发现，C.L.Wang等人在《IEEE Annual International Symposium on Personal,Indoor and Mobile Radio Communications,Sep.2018,pp.1
‑
6.(美国电气电子工程师学会个人室内和移动无线电通信年度国际研讨会，2018年9月，第1
‑
6页)》上发表了题为“Low
‑
complexity Resource Allocation for Downlink Multicarrier NOMA Systems(下行链路多载波NOMA系统的低复杂度资源分配)”一文，该文在一般功率分配研究的基础上，提出了一种在NOMA系统中低复杂度的联合子信道和功率分配的方法。在该方法下，最优功率分配因子由闭式解得到，而最优子载波则基于低复杂度信道增益准则得到，并能取得比传统的正交频分多址方案更好的系统容量。虽然该方法的计算复杂度较低，但并不能保证找到最优的资源分配方案。
[0006]经检索专利发现，南京邮电大学朱晓荣等人专利技术了“一种下行MIMO
‑
NOMA网络下的资源分配方法”(公开号:109922487A)。该专利技术技术公开了一种下行NOMA系统中的资源分配方法。通过获取用户的信道状态信息，对用户进行分簇，然后利用迫零波束成型理论为分簇的用户分配波束向。再分别使用匈牙利算法和子梯度算法在确定功率分配和信道分配的前提下得到最优信道分配和功率分配方案，交替迭代直到用户容量收敛，从而得到最优的资源分配方案。此外，检索还发现华南理工大学唐杰等人专利技术了“一种基于深度学习的携能NOMA系统的资源分配方法”(公开号:108924935A)。该项专利技术公开了一种在满足用户服务质量(Quality of service；QoS)的前提下，最小化发射功率的基于深度学习的联合资源分配方法。改方法首先构建携能NOMA系统中基于发射功率最小化的联合资源分配的数学优化问题，包括优化变量、优化目标函数及约束条件。然后采用遗传算法得到大量样本数据，训练深度置信网络来获取数据样本输入和输出之间的潜在信息。最后在运行阶段，利用训练好的网络直接输出最优的载波和功率分配策略。该方法在网络训练完成的情况下能够高效地得到资源分配方案，实现了低功耗的资源分配，更加符合低时延的要求。
[0007]虽然已存在的这些资源分配方案都在一定程度上提高了整个NOMA系统的能量效率或是其他指标，但这些方案都存在一定的局限性。例如对于传统的基于模型的资源分配方案来说，优化过程的计算复杂度较高，迭代算法所花费的时间较长。而基于深度学习的优化算法虽然降低了计算复杂度，但依然需要大量时间构造足够的样本数据训练网络才能达到良好的性能。

技术实现思路

[0008]本专利技术要解决的技术问题是克服现有技术的缺陷，提供一种基于深度强化学习(Deep reinforc本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的上行NOMA资源分配方法，其特征在于，包括以下步骤：S1、状态获取：在时刻t，基站获取小区内所有用户在不同子信道上的信道增益信息作为当前状态s
t
；S2、子信道分配：基站处的子信道分配网络遵循ε
‑
greedy策略选择最优的子信道分配方案S3、功率分配：得到的子信道分配方案之后，激活基站处的功率分配网络，遵循ε
‑
greedy策略选择最优的功率分配方案S4、反馈获取：所有用户根据资源分配方案在给定的子信道上以给定的功率传输数据到基站；基站返回所有用户的能量效率之和作为反馈；S5、参数更新：根据S4中得到的系统反馈r
t
，基于经验重放和固定Q值两个策略训练子信道分配DQN单元和所有功率分配DQN单元内的神经网络，更新网络的参数，以更好地选择资源分配方案。2.根据权利要求1所述基于深度强化学习的上行NOMA资源分配方法，其特征在于，S1中的信道增益信息包含大尺度衰落和小尺度衰落；在时刻t，所有用户在不同子信道上的信道增益信息组成状态s
t
。3.根据权利要求1所述基于深度强化学习的上行NOMA资源分配方法，其特征在于，S2中子信道分配的具体步骤为：在得到当前状态s
t
之后，s
t
被传送到基站处的子信道分配DQN单元；该单元内的Q网络Q(s，a；w)根据得到的状态s
t
，利用网络参数w估计出所有子信道分配方案的Q值Q(s
t
，a；w)，a∈A1，A1表示所有子信道分配方案组成的集合；子信道分配DQN单元遵循ε
‑
greedy策略从所有子信道分配方案中选择一个；该策略指：以概率1
‑
ε从A1中随机选择一个子信道分配方案或者以概率ε选择那个拥有最大Q值的方案，即：其中0＜ε＜1。4.根据权利要求1所述基于深度强化学习的上行NOMA资源分配方法，其特征在于，S3中的功率分配的具体步骤为：在得到子信道分配方案之后，激活基站处的功率分配网络里的M个功率分配DQN单元；使用相同的状态s
t
作为输入，第m个功率分配DQN单元的Q网络估计出相应的Q值，再遵循ε
‑
greedy策略从所有功率分配方案的集合中选择一个，作为...

【专利技术属性】
技术研发人员：徐友云，李大鹏，蒋锐，
申请(专利权)人：南京爱而赢科技有限公司，
类型：发明
国别省市：