智能反射表面相移和无人机路径规划方法技术

本发明专利技术公开一种智能反射表面相移和无人机路径规划方法，涉及无人机空地通信、智能反射表面辅助通信和深度学习领域，本发明专利技术基于深度强化学习的框架，实现相比于传统凸优化算法在计算复杂度和精度上的权衡，结合智能反射表面技术，联合优化无人机三维轨迹与智能反射表面相移，使得最小化无人机能耗的同时最大化无线通信网络增益，提升无人机与地面终端通信能效。效。效。

【技术实现步骤摘要】
智能反射表面相移和无人机路径规划方法


[0001]本专利技术涉及无人机空地通信、智能反射表面辅助通信和深度学习领域，尤其涉及一种智能反射表面相移和无人机路径规划方法。

技术介绍

[0002]由无人机支持的无线通信是近些年研究热点，无人机的高机动性，使得它可以在三维空间灵活工作，通过同时调整其水平和垂直位置来吸引空地无线通信。由于机动性高，无人机辅助的无线网络特别适用于紧急情况下的按需部署，其中无人机主要用作空中临时基站或接入点，向地面终端传输或接收数据。但在实际应用中，无人机与终端通信链路极有可能被区域性障碍物阻塞，导致信号衰减，数据传输速率降低。智能反射表面的提出解决了这个问题，它是一种配备集成电子电路的元表面，可以通过编程以可定制的方式改变输入电磁场，每个表面单元由反射阵列实现。无人机与地面终端之间被阻断的通信链路可由建筑物上的智能反射表面中转再建立，有效地利用蜂窝系统的能量和频谱效率，帮助无人机克服空地无线通信的信号阻塞问题。
[0003]尽管有这些优点，但存在三个尚未解决的技术问题。
[0004]首先，在智能反射表面辅助下，地面终端和无人机之间的两段通信链路受到无人机移动的影响，三维轨迹设计很难实现；
[0005]其次，智能反射表面的相移需要根据当前通信链路状况实时计算决定，而传统算法计算量较大，实时性不佳，进而影响通信链路质量；
[0006]最后，无人机能量有限，应控制无人机的总体推进能量最小化，同时具有较高的系统能效。
[0007]通常，上述问题在无人机空地通信系统中相互影响，如何解决联合优化问题，对于提升无人机空地通信能效尤为重要。

技术实现思路

[0008]本专利技术的目的在于为了解决上述问题，设计了一种智能反射表面辅助下，基于深度强化学习的，最小化无人机能耗的同时最大化无线通信网络增益的，智能反射表面相移和无人机路径规划方法。
[0009]本专利技术通过以下技术方案来实现上述目的：
[0010]一种智能反射表面相移和无人机路径规划方法，其特征在于，包括以下步骤：
[0011]S1、建立在智能反射表面辅助下的无人机
‑
终端通信模型；
[0012]S2、收集当前区域内的无人机、智能反射表面和地面终端信息，并导入通信模型；
[0013]S3、建立深度强化学习网络，初始化初始及目标网络参数；
[0014]S4、初始化深度强化学习网络中智能反射表面辅助的无人机和终端通信场景状态；
[0015]S5、根据状态和奖励执行行为；
[0016]S6、判断无人机飞行是否越界或超速，若是，进行惩罚并取消执行行为；
[0017]S7、应用智能反射表面相移参数，并执行行为；
[0018]S8、保存行为、奖励、当前及下一刻状态至样本中；
[0019]S9、若任务未完成，重复步骤S5至S8固定次数或直到任务完成；
[0020]S10、在S8获得的样本中，随机选择小样本计算目标值；
[0021]S11、分别通过最小化损失函数和梯度下降的方法更新网络参数；
[0022]S12、将步骤S4至S11重复固定次数，获得趋于稳定的智能反射表面相移和无人机路径规划方法。
[0023]本专利技术的有益效果在于：设计基于深度增强学习的框架，实现相比于传统凸优化算法在计算复杂度和精度上的权衡，结合智能反射表面技术，联合优化无人机三维轨迹与智能反射表面相移，使得最小化无人机能耗的同时最大化无线通信网络增益，提升无人机与地面终端通信能效。
附图说明
[0024]图1是本专利技术一种智能反射表面相移和无人机路径规划方法的流程图；
[0025]图2是本专利技术一种智能反射表面相移和无人机路径规划方法的场景模型图。
具体实施方式
[0026]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。
[0027]因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0028]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0029]在本专利技术的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该专利技术产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。
[0030]此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0031]在本专利技术的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述
术语在本专利技术中的具体含义。
[0032]下面结合附图，对本专利技术的具体实施方式进行详细说明。
[0033]本专利技术提供了一种有效平衡计算复杂度和计算精度，最小化无人机能耗的同时最大化无线通信网络增益的智能反射表面相移和无人机路径规划方法，由系统模型建立、模型转化，求解三个部分组成，如图1所示，具体包括以下步骤：
[0034]S1、建立在智能反射表面辅助下的无人机
‑
终端通信模型，具体为：
[0035]在一个智能反射表面辅助下的无人机与终端通信的三维区域内，该区域被均匀分为多个单元格，第i个单元格的中心的水平坐标为式中指所有单元格的水平中心的横坐标集合，x
s
和y
s
指两个相邻的单元格x及y方向的水平距离。指无人机在第n时隙的水平位置，式中其中N指代所有时隙。如图2所示，设置和为事先设定的无人机起飞和降落水平中心。指代无人机在第n时隙的垂直位置。因此空间坐标和时隙持续时长可以表征无人机的路径规划。
[0036]建立能耗模型。根据无人机水平飞行速度恒定的叶翼功率P0、悬停诱导功率P1、恒定的下降或上升功率P2、动叶叶翼速度U
tip
、悬停时平均旋翼诱导速度v0、机身阻力比d0、转子固体度s、空气密度ρ和转子盘面积G，计算旋翼无人机的推进能量为...

【技术保护点】

【技术特征摘要】
1.智能反射表面相移和无人机路径规划方法，其特征在于，包括以下步骤：S1、建立在智能反射表面辅助下的无人机
‑
终端通信模型；S2、收集当前区域内的无人机、智能反射表面和地面终端信息，并导入通信模型；S3、建立深度强化学习网络，初始化初始及目标网络参数；S4、初始化深度强化学习网络中智能反射表面辅助的无人机和终端通信场景状态；S5、根据状态和奖励执行行为；S6、判断无人机飞行是否越界或超速，若是，进行惩罚并取消执行行为；S7、应用智能反射表面相移参数，并执行行为；S8、保存行为、奖励、当前及下一刻状态至样本中；S9、若任务未完成，重复步骤S5至S8固定次数或直到任务完成；S10、在S8获得的样本中，随机选择小样本计算目标值；S11、分别通过最小化损失函数和梯度下降的方法更新网络参数；S12、将步骤S4至S11重复固定次数，获得趋于稳定的智能反射表面相移和无人机路径规划方法。2.根据权利要求1所述的智能反射表面相移和无人机路径规划方法，其特征在于，在S1中包括：S11、用空间坐标和时隙持续时长表征无人机的路径；其中，指无人机在第n时隙的水平位置，式中其中N指代所有时隙；指代无人机在第n时隙的垂直位置；令在一个智能反射表面辅助下的无人机与终端通信的三维区域内，该区域被均匀分为多个单元格，第i个单元格的中心的水平坐标为其中指所有单元格的水平中心的横坐标集合；设置和为事先设定的无人机起飞和降落水平中心；S12、旋翼无人机的推进能量为：上式中，为无人机水平飞行速度；P0为恒定的叶翼功率；P1为悬停诱导功率；P2为恒定的下降或上升功率；U
tip
为动叶叶翼速度；v0为悬停时平均旋翼诱导速度；d0为机身阻力比；为转子固体度；ρ为空气密度；G为转子盘面积；S13、根据智能反射表面上每个均匀平面阵列的反射单元数M
c
×
M
r
、均匀平面阵列的列间距d
c
米、行间距d
r
米，计算第n时隙无人机与智能反射表面之间的信道增益：
上式中，ξ为距离为1米时的信道损耗；为第n时隙智能反射表面与无人机之间的距离；z
R
和w
R
分别表示智能反射表面第一个元素垂直和水平方向的位置；λ指载波波长；和分别指代智能反射表面水平信号到达角的余弦和正弦值；指代智能反射表面垂直信号到达角的正弦值；S14、同理，计算第k终端与智能反射表面之间的信道增益：式中第k终端与智能反射表面之间的距离式中第k终端与智能反射表面之间的距离和分别指代第k终端水平信号发射角的余弦值和正弦值，指代第k终端垂直信号发射角的正弦值；进而，全过程第k终端的信道增益表示为式中为智能反射表面反射相位系数矩阵且S15、计算无人机与第k地面终端之间的链路在第n时隙的阻挡概率式中a和b是随通信环境变化而改变的变量；进而，第k终端达到的平均信道增益表示为信道速率为式中，P为无人机的固定发射功率，B为带宽，σ为噪声变量，c
k，n
＝{0，1}表示第k终端是否被调度。3.根据权利要求2所述的智能反射表面相移和无人机路径规划方法，其特征在于，在S2中，收集当前区域内的无人机L、H、T信息，智能反射表面Θ信息和地面终端C信息，并导入通信模型；其中指示无人机水平位置集合，指示无人机垂直位置集合，指示无人机每个飞行时隙持续时间，指示智能反射表面反射相位系数矩阵，指示地面终端调度方案。
4.根据权利要求3所述的智能反射表面相移和无人机路径规划方法，...

【专利技术属性】
技术研发人员：梅海波，蔡勇，车畅，张子歌，庞宇，梁楚雄，孙小博，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：