一种无人机搭载RIS辅助通信系统容量优化方法及装置制造方法及图纸

本发明专利技术公开了一种无人机搭载RIS辅助通信系统容量优化方法及装置，该通信系统容量优化方法包括：以无人机UAV搭载RIS充当中继，构建UAV搭载RIS辅助通信系统；将UAV搭载RIS辅助通信系统的系统容量优化问题转化为具有用户速率保障和UAV能量消耗约束的UAV轨迹和RIS波束赋形矩阵优化问题；基于深度强化学习算法，获取最优UAV轨迹和最优RIS波束赋形矩阵，在满足用户最低目标数据速率和UAV能量消耗约束下实现系统容量最大化。本发明专利技术在解决轨迹和相移问题的同时，可在能耗约束下，实现系统容量最大化。化。化。

【技术实现步骤摘要】
一种无人机搭载RIS辅助通信系统容量优化方法及装置


[0001]本专利技术涉及移动通信
，特别涉及一种无人机搭载智能反射表面(RIS)辅助通信系统容量优化方法及装置。

技术介绍

[0002]RIS是一种应用于无线通信的创新传输技术。RIS被认为是一种廉价的自适应薄复合材料薄片，可通过编程来修改无线电波。它可以部署在墙壁或建筑物等场景。由于它的可编程性，在无线环境中部署RIS之后，它可以被重新配置。通常，RIS是一个平面阵列，其表面由许多超材料成分组成。每个元件都是可重新配置的，可以独立地改变相移。通过对每个元素的相位进行调整，优化RIS接收到的信号向目标方向的收敛，从而增加了接收端信号能量，提高了用户速率。同时，与传统的放大转发中继不同，RIS通过无源组件反射到达它的信号，因此具有低功耗。此外，RIS本身价格低廉，没有传输模块，实现成本低，所以在一个成熟的无线通信系统中，它被认为是一个折衷的有效和绿色的解决方案。
[0003]另一方面，无人机(UAV)辅助无线通信网络被认为是未来无线通信的又一项有前途的技术，UAV在无线通信中得到了越来越广泛的应用，UAV既可以作为机载用户加入蜂窝网络，也可以作为机载基站/机载中继。UAV作为基站/中继是提高蜂窝网络性能的一种潜在的解决方案，它可以快速部署到合适的位置进行数据传输，通过建立视距通信可以进一步扩大系统覆盖范围。
[0004]得益于RIS和UAV的潜在优势，RIS在UAV辅助通信网络中的应用和性能引起了广泛关注。两者的结合使用可以简单地分为固定RIS和移动RIS。在固定RIS场景下，UAV可作为基站供有视距阻碍的用户使用，在RIS的帮助下建立视距。UAV也可以作为一个中继，其中信号被RIS反射然后通过UAV转发。在移动RIS场景中，主要使用方式UAV搭载RIS飞行，与固定位置RIS的UAV辅助网络相比，该场景下的RIS更加灵活，借助UAV的机动性，RIS可以快速部署到更适合辅助通信的位置，以提高UAV辅助网络的系统容量。但是，目前针对UAV搭载RIS辅助通信系统的系统容量优化问题，还没有完善的解决方案。

技术实现思路

[0005]本专利技术提供了一种无人机搭载RIS辅助通信系统容量优化方法及装置，以解决针对UAV搭载RIS辅助通信系统的系统容量优化问题，目前还没有完善的解决方案的技术问题。
[0006]为解决上述技术问题，本专利技术提供了如下技术方案：
[0007]一方面，本专利技术提供了一种无人机搭载RIS辅助通信系统容量优化方法，该无人机搭载RIS辅助通信系统容量优化方法包括：
[0008]以无人机UAV搭载RIS充当中继，构建UAV搭载RIS辅助通信系统；
[0009]将UAV搭载RIS辅助通信系统的系统容量优化问题转化为具有用户速率保障和UAV能量消耗约束的UAV轨迹和RIS波束赋形矩阵优化问题；
[0010]基于深度强化学习算法，获取最优UAV轨迹和最优RIS波束赋形矩阵，以在满足用户最低目标数据速率和UAV能量消耗约束下，实现系统容量最大化。
[0011]进一步地，在所述UAV搭载RIS辅助通信系统中，接收端采用连续干扰技术解码期望信号，以消除用户对间的同信道干扰。
[0012]进一步地，基于深度强化学习算法，获取最优UAV轨迹和最优RIS波束赋形矩阵，包括：
[0013]以最大化系统容量为目标，通信系统充当环境，搭载RIS的UAV充当智能体，利用深度强化学习算法训练智能体，获取所述智能体的最优动作；其中，所述智能体的动作包括：RIS波束赋形矩阵相移偏转和UAV轨迹移动。
[0014]进一步地，在采用深度强化学习算法进行UAV轨迹和RIS波束赋形矩阵设计时，针对真实环境下系统状态的动态变化，将系统状态建模为有限状态马尔可夫模型。
[0015]进一步地，以最大化系统容量为目标，通信系统充当环境，搭载RIS的UAV充当智能体，利用深度强化学习算法训练智能体获取智能体的最优动作，包括：
[0016]S1，初始化无线设备、用户、深度神经网络参数以及智能体环境信息；其中，所述深度神经网络参数包括：评估网络的参数和目标网络的参数；所述智能体环境信息包括：智能体动作空间、状态空间以及经验缓存空间；
[0017]S2，计算信道状态信息，智能体获取当前信道状态信息，根据行为策略选择动作并执行，执行动作后，根据与环境的交互，返回奖励以及新的状态；
[0018]S3，将状态转化过程放入经验缓存空间；判断经验缓存空间中缓存的经验数量是否达到要求，若达到要求，则执行S4，进行深度强化学习；
[0019]S4，在经验缓存空间中采样预设数量的状态转移数据作为训练深度神经网络的训练数据，以对深度神经网络进行训练；
[0020]S5，计算评估网络目标值，计算损失函数值，更新评估网络参数；
[0021]S6，更新目标网络参数；
[0022]S7，在算法收敛或达到最大迭代次数时，算法终止，获取智能体最优动作。
[0023]进一步地，所述深度神经网络为深度强化学习DRL中双重深度Q网络DDQN。
[0024]进一步地，在所述S2中，智能体根据当前状态和决策策略，将当前状态输入到主网络中，输出每个动作对应的Q值，进行比较，依据ε
‑
贪婪算法在动作空间中选择动作；其中，动作的选取需要借助所构建的DNN，所述DNN为双重Q网络，包括评估网络和目标网络两个神经网络，两者结构相同而参数不同。
[0025]进一步地，在所述S2中，即时奖励的获取需要满足三个条件：每个用户在每个时隙是否达到最低用户速率；RIS波束赋形矩阵设计是否满足无源发射；UAV总能耗是否满足能量限制；其中，即时奖励的表达式为：
[0026]r
t
＝αR(t)+βE
UAV
(t)
[0027]式中，r
t
表示所获取的即时奖励，R(t)表示所服务用户速率之和，E
UAV
(t)表示UAV能量消耗值，α,β表示权重系数。
[0028]进一步地，在所述S5中，采用均方误差损失函数更新评估网络参数；在所述S6中，每隔预设步对目标网络参数进行更新，以保证目标网络参数的稳定性。
[0029]另一方面，本专利技术还提供了一种无人机搭载RIS辅助通信系统容量优化装置，该无
人机搭载RIS辅助通信系统容量优化装置包括：
[0030]通信系统建模模块，用于以无人机UAV搭载RIS充当中继，构建UAV搭载RIS辅助通信系统；
[0031]问题描述模块，用于将UAV搭载RIS辅助通信系统的系统容量优化问题转化为具有用户速率保障和UAV能量消耗约束的UAV轨迹和RIS波束赋形矩阵优化问题；
[0032]深度强化学习模块，用于基于深度强化学习算法，获取最优UAV轨迹和最优RIS波束赋形矩阵，以在满足用户最低目标数据速率和UAV能量消耗约束下，实现系统容量最大化。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机搭载RIS辅助通信系统容量优化方法，其特征在于，包括：以无人机UAV搭载RIS充当中继，构建UAV搭载RIS辅助通信系统；将UAV搭载RIS辅助通信系统的系统容量优化问题转化为具有用户速率保障和UAV能量消耗约束的UAV轨迹和RIS波束赋形矩阵优化问题；基于深度强化学习算法，获取最优UAV轨迹和最优RIS波束赋形矩阵，以在满足用户最低目标数据速率和UAV能量消耗约束下，实现系统容量最大化。2.如权利要求1所述的无人机搭载RIS辅助通信系统容量优化方法，其特征在于，在所述UAV搭载RIS辅助通信系统中，接收端采用连续干扰技术解码期望信号，以消除用户对间的同信道干扰。3.如权利要求1所述的无人机搭载RIS辅助通信系统容量优化方法，其特征在于，基于深度强化学习算法，获取最优UAV轨迹和最优RIS波束赋形矩阵，包括：以最大化系统容量为目标，通信系统充当环境，搭载RIS的UAV充当智能体，利用深度强化学习算法训练智能体，获取所述智能体的最优动作；其中，所述智能体的动作包括：RIS波束赋形矩阵相移偏转和UAV轨迹移动。4.如权利要求3所述的无人机搭载RIS辅助通信系统容量优化方法，其特征在于，在采用深度强化学习算法进行UAV轨迹和RIS波束赋形矩阵设计时，针对真实环境下系统状态的动态变化，将系统状态建模为有限状态马尔可夫模型。5.如权利要求4所述的无人机搭载RIS辅助通信系统容量优化方法，其特征在于，以最大化系统容量为目标，通信系统充当环境，搭载RIS的UAV充当智能体，利用深度强化学习算法训练智能体，获取所述智能体的最优动作，包括：S1，初始化无线设备、用户、深度神经网络参数以及智能体环境信息；其中，所述深度神经网络参数包括：评估网络的参数和目标网络的参数；所述智能体环境信息包括：智能体动作空间、状态空间以及经验缓存空间；S2，计算信道状态信息，智能体获取当前信道状态信息，根据行为策略选择动作并执行，执行动作后，根据与环境的交互，返回奖励以及新的状态；S3，将状态转化过程放入经验缓存空间；判断经验缓存空间中缓存的经验数量是否达到要求，若达到要求，则执行S4，进行深度强化学习；S4，在经验缓存空间中采样预设数量的状态转移数据作为训练深度神经网络的训练数据，以对深度神...

【专利技术属性】
技术研发人员：张海君，黄庙林，王先梅，隆克平，王健全，李卫，云翔，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：