一种基于深度Q网络的用户分簇与功率分配方法、设备和介质组成比例

本发明专利技术公开了一种基于深度Q网络的用户分簇与功率分配方法、设备和介质，利用用户分簇与功率分配问题建模联合优化问题；建立BP神经网络实现联合优化问题中的功率分配功能；使用训练数据集训练BP神经网络，测试网络并保存BP神经网络模型，得到不同信道条件下的功率分配结果，实现功率分配；将用户分簇问题建模成强化学习任务；根据强化学习任务构建深度Q网络；网络在线训练后，根据输入状态训练深度Q网络，选取最佳动作作为最佳分簇结果，实现用户分簇。本发明专利技术能够降低在线计算复杂度，在一定程度上保证用户公平性及有效提高系统的频谱效率。

【技术实现步骤摘要】
一种基于深度Q网络的用户分簇与功率分配方法、设备和介质
本专利技术属于通信系统中资源分配
，具体涉及一种基于深度Q网络的用户分簇与功率分配方法、设备和介质。
技术介绍
面对无线频谱资源严重匮乏而现有通信链路频谱利用率已接近极限的现状，如何进一步提升频谱效率和系统容量，满足未来无线通信系统全场景应用下大流量、巨连接和高可靠等方面的需求，是无线通信领域研究所要迫切解决的关键问题。非正交和大维度被认为是提升频谱资源利用率的有效途径。2010年，日本NTTDoCoMo公司首次提出了基于串行干扰抵消(SuccessiveInterferenceCancellation，SIC)接收的功率域非正交多址接入(Non-orthogonalMultipleAccess，NOMA)技术，通过在功率域上资源复用，可成倍提升系统频谱效率和用户连接数，满足海量接入的需求。功率域NOMA技术凭借自身的非正交优势，能有效提升频谱效率和用户连接数，并易与其他技术结合，被认为是未来无线通信系统中的关键技术之一。与NOMA同时期被提出的大规模MIMO技术已经被3GPPRel本文档来自技高网...

【技术保护点】
1.一种基于深度Q网络的用户分簇与功率分配方法，其特征在于，包括以下步骤：/nS1、利用用户分簇与功率分配问题建模，优化目标为系统和速率最大，约束条件为功率约束与用户总数约束；/nS2、设置最小传输速率约束，采用全搜索功率分配方法得到功率分配结果，将功率分配结果作为训练标签，将信道信息与功率分配结果构成网络的训练数据集，建立BP神经网络；/nS3、使用步骤S2得到的训练数据集训练BP神经网络，BP神经网络训练至均方误差在10

【技术特征摘要】
1.一种基于深度Q网络的用户分簇与功率分配方法，其特征在于，包括以下步骤：
S1、利用用户分簇与功率分配问题建模，优化目标为系统和速率最大，约束条件为功率约束与用户总数约束；
S2、设置最小传输速率约束，采用全搜索功率分配方法得到功率分配结果，将功率分配结果作为训练标签，将信道信息与功率分配结果构成网络的训练数据集，建立BP神经网络；
S3、使用步骤S2得到的训练数据集训练BP神经网络，BP神经网络训练至均方误差在10-4以下，测试网络并保存BP神经网络模型，得到不同信道条件下的功率分配结果，实现功率分配；
S4、将用户分簇问题建模成强化学习任务，确定状态空间为用户信道信息的组合、动作空间为所有分组情况，奖励函数为系统和速率；
S5、根据步骤S4中的强化学习任务构建深度Q网络，将网络输入确定为状态空间与动作空间的组合，输出为系统和速率，初始化深度Q网络及Q标签网络的参数及隐含层数目；网络在线训练后，根据输入状态训练深度Q网络，选取最佳动作作为最佳分簇结果，实现用户分簇。


2.根据权利要求1所述的方法，其特征在于，步骤S1中，以系统和速率最大为目标，建立联合优化问题如下：



s.t.C1:
C2:
其中，为功率分配因子集，{Un,k}为用户集，N为所分簇数目，K为簇内用户数，Rn,k为第n簇中用户k的信息传输速率，pn,k为第n簇中用户k所分配的功率，Pmax为基站允许传输的最大功率，αn,k为第n簇中用户k的功率分配因子，为对于所有的n，k均成立。


3.根据权利要求1所述的方法，其特征在于，步骤S2中，采用BP神经网络进行功率分配，将穷举搜索功率分配方法的结果作为网络训练标签，标签获取方法如下：在有限功率区间内，对功率进行离散化，步长为Δ；对于确定的信道信息组合{hn,1…hn,K}，通过穷举搜索功率分配方法在离散功率集合中搜索出最优的功率分配结果{pn,1…pn,K}，作为BP神经网络的训练标签，训练完成后，根据输入信道信息和总功率限制计算功率分配结果。


4.根据权利要求1所述的方法，其特征在于，步骤S3中，BP神经网络包括输入层、输出层及隐含层，BP神经网络的输入为信道状态信息与簇内用户总功率，BP神经网络...

【专利技术属性】
技术研发人员：张国梅，曹艳梅，李国兵，史晔钊，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61