基于深度强化学习的频谱资源管理方法技术

本发明专利技术公开一种基于深度强化学习的频谱资源管理方法。主要解决现有技术不能有效利用不完全信道状态信息进行频谱和功率分配以及频谱资源管理多目标优化的问题。其实现方案是，以频谱效率最大化为优化目标，构造以信道增益和噪声功率为权值参数的自适应深度神经网络；初始化权值参数，观测用户接入信息和干扰信息，根据通信网络能量效率和公平性计算损失函数，沿着损失函数梯度下降方向逐层更新信道增益和噪声功率，反复训练自适应深度神经网络，当满足训练结束条件，输出最优频谱资源管理策略。本发明专利技术能基于不完全信道状态信息得到最优频谱资源管理策略，有效提升了通信网络的频谱效率、能量效率和公平性，可用于无线通信中的频谱和功率分配。

【技术实现步骤摘要】
基于深度强化学习的频谱资源管理方法
本专利技术属于通信
，特别涉及一种资源管理方法，可用于无线通信中的频谱和功率分配。
技术介绍
随着无线网络中通信设备数量的急剧增加和业务需求的愈加多样，无线通信领域面临着智能化、宽带化、多元化、综合化等诸多技术挑战，导致频谱资源的稀缺程度日益加剧。此外，无线网络环境的复杂性、多样性和动态性，使信道状态信息的获取变得愈加困难，绿色网络和智慧网络等新概念的提出，使频谱资源管理的优化目标日趋多样化。因此，如何优化频谱利用，最大限度地实现频谱资源的高效管理是当前急需解决的重点问题。现阶段，频谱资源管理的研究已经有一定的进展，T.Yang等人采用图论着色理论对全双工设备到设备D2D蜂窝网进行频谱和功率分配，构造干扰感知图，提出了一种全新的基于图论着色理论的资源共享方案，该方案以网络吞吐量为优化目标，需要定时获取信道状态信息CSI，算法收敛速度快，时间复杂度低，但是不适用于动态变化的蜂窝网络，而且存在不公平缺陷。J.Huang等人将博弈理论应用于小区间蜂窝网中的频谱分配，假设基站预先获得且共享CSI，将两个通信设备放置于相邻小区的重叠区域，采用静态重复的本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的频谱资源管理方法，其特征在于，包括：(1)构造自适应深度神经网络：以频谱效率最大化为优化目标，在子载波发送功率满足总功率约束条件下，对频谱效率进行优化，构建增广拉格朗日函数，形成频谱分配策略

【技术特征摘要】
1.一种基于深度强化学习的频谱资源管理方法，其特征在于，包括：(1)构造自适应深度神经网络：以频谱效率最大化为优化目标，在子载波发送功率满足总功率约束条件下，对频谱效率进行优化，构建增广拉格朗日函数，形成频谱分配策略功率分配策略Pn,m和拉格朗日乘子λn的迭代更新数据流，构造以信道增益hn,m和噪声功率为权值参数的自适应深度神经网络，该自适应深度神经网络包括数据输入层、多层频谱更新层、多层功率更新层和多层乘子更新层以及策略输出层；(2)训练自适应深度神经网络：2a)初始化自适应深度神经网络权值参数，即将信道增益hn,m初始化为瑞利分布，将噪声功率初始化为高斯白噪声；2b)在时刻t,将观测到的通信网络用户接入信息和干扰信息输入到自适应深度神经网络的状态输入层，经过自适应深度神经网络前向传输后，在策略生成层输出一组数值，每一个数值对应一种频谱分配策略和功率分配策略，从策略生成层输出的数值中寻找出最大数值并将最大数值所对应的频谱分配策略和功率分配策略作为时刻t的频谱资源管理策略；2c)计算通信网络的能量效率和公平性，观测通信网络用户接入信息和干扰信息将通信网络的能量效率和公平性作为自适应深度神经网络的回报值rt+1，将观测到的用户接入信息和干扰信息重新输入到自适应深度神经网络的状态输入层，经过自适应深度神经网络前向传输后，从策略生成层输出的数值中寻找最大数值并将最大数值所对应频谱分配策略和功率分配策略作为时刻t+1的频谱资源管理策略；2d)设定折扣因子γ，计算损失函数值Q：2e)设定阈值μ，将损失函数值Q与阈值μ比较：若损失函数值Q≥μ，则执行2f)，否则，将2b)选定的频谱分配策略和功率分配策略作为最优频谱资源管理策略，完成频谱资源管理；2f)采用反向传播算法，使损失函数值Q趋于最小化，沿着损失函数梯度下降方向逐层更新自适应深度神经网络的权值参数，即更新信道增益hn,m和噪声功率当权值参数更新次数达到限定的最大次数A时，将2b)选定的频谱分配策略和功率分配策略作为最优频谱资源管理策略，完成频谱资源管理，否则，返回2b)。2.根据权利要求1所述的方法，其中(1)中的自适应深度神经网络，是指神经网络的深度是变化的，且深度取决于频谱分配策略功率分配策略Pn,m和拉格朗日乘子λn的迭代更新次数。3.根据权利要求1所述的方法，其中(2)中的用户接入信息，是指用户与站点的接入关系，在频谱资源管理策略形成过程中被认为是固定不变的信息，即在2b)中观测到的用户接入信息与在2c)中观测到的用户接入信息相同。4.根据权利要求1所述的方法，其中(1)中对频谱效率进行优化，通过如下公式优化：其中，N表示接入站点数目，M表示授权用户数目，W表示可用正交子载波数目，hn,m和分别表示第n个接入站点和第m个用户之间信道增益和噪声功率，Pn,m表示第n个基站到第m个用户的发送功率，Ln,m表示第n个基站与第m个用户的接入关系，表示第n个基站是否将第w个子载波分配给第m个用户，Pi,m表示第i个基站到第m个用户的发送功率i≠n，Li,m表示第i个基站与第m个用户的接入关系i≠n，表示第i个基站是否将第w个子载波分配给第m个用户i≠n，表示第n个接入站点的最大发送功率。5.根据权利要求1所述的方法，其中(1)中构建的增广拉格朗日函数，表示如下：其中，λ表示拉格朗日乘子，ρ表示罚因子，N表示接入站点数目，M表示授权用户数目，W表示可用正交...

【专利技术属性】
技术研发人员：李赞，廖晓闽，石嘉，司江勃，林初善，齐佩汉，赵钟灵，王丹阳，
申请(专利权)人：西安电子科技大学，西安中电科西电科大雷达技术协同创新研究院有限公司，
类型：发明
国别省市：陕西,61