基于DRL的RIS辅助用户中心化去蜂窝系统中资源管理半并行方法技术方案

本发明专利技术提出了一种用于可重构智能表面(RIS)辅助用户中心化去蜂窝(UCCF)系统中基于深度强化学习(DRL)的半并行方法。该方法将优化问题分解为两个迭代的子任务：接入点(AP)和用户设备(UE)关联(AUA)子任务与发射功率和RIS反射系数管理(PRCM)子任务。具体方法为，对整数非线性规划的AUA采用二进制粒子群优化(BPSO)算法；对于多连续变量联合优化的PRCM，提出了基于DRL的并行算法，采用双延迟深度确定性策略梯度(TD3)算法提高收敛性，并提出新的状态预处理机制。本发明专利技术采用基于DRL的半并行方法优化多个变量，克服了传统算法解决NP

【技术实现步骤摘要】
基于DRL的RIS辅助用户中心化去蜂窝系统中资源管理半并行方法


[0001]本专利技术设计了一种用于RIS辅助UCCF系统的基于DRL的半并行联合优化方法。确切地说，该方案考虑了多变量(包括离散变量和连续变量)联合优化的复杂性，设计了一种基于DRL的半并行框架，并为神经网络的收敛采取了技巧。以最大化系统可达速率为目标，联合优化AUA，UEs发射功率和RISs反射系数，属于基于人工智能的无线通信


技术介绍

[0002]近年来，随着无线通信和人工智能的发展，“万物智联”的概念被提出，以小区为中心的蜂窝系统受限于边缘效应，已不能满足日益增加的系统容量需求。CF系统通过部署大量的分布式的APs服务于UEs，消除了小区边界的概念，提高了空间宏分集增益并减少了路径损耗，实现了更大的系统容量。但是，APs和UEs分布不均匀，导致部分APs与UEs间距离较远，对其速率提升贡献较小，却增加了UEs能耗和CPU资源消耗。为了缓解该问题，UCCF系统被提出。选择合适的APs服务于每个UE，降低硬件能耗，同时可以带来更高的系统吞吐量。因此，高效的AUA技术对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.本发明提供了一种在RIS辅助的UCCF上行传输系统中用于求解最优AUA、UEs发射功率以及RISs反射系数的智能算法框架，用于以下场景：AP和UE间的通信由RIS辅助增强；其中AP负责收集信道估计信息(CSI)并进行信道估计，且导频之间是互相正交的；中央处理单元(CPU)根据上行系统和速率进行AUA矩阵优化，CPU处的智能体进行用户发射功率和RIS相移配置。(11)基于RIS辅助UCCF上行系统最大化系统可达速率的联合优化框架设计：以AUA，UEs传输功率和RISs反射系数(一个离散变量和两个连续变量)为优化变量，建立联合优化任务。首先将该任务解耦为AUA和PRCM两个子任务。(12)基于用户中心化的AUA设计：基于环境信息和PRCM结果，更新AUA模块的输入，利用二进制粒子群优化(BPSO)算法执行AUA矩阵的优化。(13)基于DRL的PRCM并联优化框架设计：基于AUA结果和静态环境信息，采用由两个并联的DRL的智能优化框架与环境进行交互，更新神经网络参数，输出用户传输功率和RISs反射系数动作。(14)根据预先设计的迭代策略，迭代(2)，(3)，直至PRCM模块的奖励收敛。2.根据权利要求1所述的方法，所述步骤(1)中，基于用户中心化的AUA设计包括下列的操作内容：(21)基于初次迭代的初始化或者PRCM模块输出的功率
‑
相移联合动作，建立BPSO算法的模型寻找AUA矩阵的最优解。首先根据初始化信息计算出当前初始化...

【专利技术属性】
技术研发人员：吕铁军，崔莹萍，黄平牧，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：