面向复杂无人机网络的三维轨迹设计及资源调度优化方法技术

本发明专利技术公开了一种面向复杂无人机网络的三维轨迹设计及资源调度优化方法，包括如下步骤：S1、随机生成无人机和地面用户的初始位置；S2、生成无人机空对地通信模型；S3、生成无人机通信信道模型；S4、生成无人机传输能量消耗模型；S5、将所述无人机空对地通信模型、所述无人机通信信道模型和所述无人机传输能量消耗模型参数传入深度强化学习网络中，学习提取特征值；S6、通过神经网络训练目标系统模型，优化目标参数；S7、从累积的训练经验池中随机抽出动作保持随机性训练。本发明专利技术利用强化学习的方法解决传统凸优化的方法无法解决的高维度问题还有传统凸优化的方法无法解决的高维度的效率问题。率问题。率问题。

【技术实现步骤摘要】
面向复杂无人机网络的三维轨迹设计及资源调度优化方法


[0001]本专利技术属于无线通信
，尤其涉及一种面向复杂无人机网络的三维轨迹设计及资源调度优化方法。

技术介绍

[0002]无人机辅助通信范式有望在下一代无线通信系统中发挥关键作用，有望提供具有更广泛和更深覆盖的无处不在的连接。特别是，使用无人机作为空中移动基站为分布式地面终端传输数据被认为是实现绿色通信的一种有前途的技术。与基于地面基站的通信系统相比，基于无人机的空中基站系统具有显着的特点，例如高概率建立强视距信道以提高覆盖范围、灵活部署和快速响应突发事件或有限持续时间的任务，以及用于提高光谱和能量效率的动态三维放置和移动等。
[0003]由于高机动性，无人机可以向潜在的地面用户移动并以低功耗建立可靠的连接。因此，无人机的轨迹设计对于无人机辅助通信系统至关重要。迄今为止，有已经有几项相关工作研究了具有各种优化目标的轨迹设计，例如吞吐量、能源效率和飞行时间。在现在有的研究中，作者考虑联合优化地面用户的传输调度、功率分配以及多天线无人机的二维轨迹，以最大化上行链路通信中的最小和速率。此外，为了最小化多用户单输入单输出通信总功耗，其他作者联合优化了无人机的二维轨迹和发射波束成形向量。此外，一些作者设计了无人机的飞行轨迹，以最大限度地减少无人机数据传输的巡航时间，从而达到吞吐量、能量和延迟的要求。
[0004]近几十年，在当前5G移动通信中，随着各种新兴产业迅猛发展地面骨干网承受着巨大的数据传输压力。同时受限于地理条件的影响，许多偏远地区仍处于无线覆盖欠缺的状态。这些前所未有的对高质量无线通信服务的需求，对当前传统地面通信网络提出了严峻挑战。为此，在未来6G及以后的无线通信中，无人机作为空中接入节点辅助地面通信成为一种有前途的解决。
[0005]未来的无线通信系统有望满足人们对高质量无线服务的前所未有的需求，这对传统的地面通信网络提出了挑战，特别是在诸如足球场或摇滚音乐会等交通热点地区。首先，无人机可以作为空中基站来补充和/或支持现有的地面通信基础设施，因为它们可以灵活地重新部署在临时交通热点或自然灾害之后。其次，无人机还被部署为地面终端之间的中继站和空中基站，以提高链路性能。第三，无人机还可以用作空中基站，从地面物联网设备收集数据，在那里建设完整的蜂窝基础设施是负担不起的。第四，联合地面用户，无人机通信网络能够显著提高现有点对点无人机对地通信的可靠性、安全性、覆盖范围和吞吐量。无人机制造行业在无人机辅助无线网络设计方面既面临机遇也面临挑战。在充分实现上述所有好处之前，必须解决几个技术挑战，包括无人机的最佳三维部署、它们的干扰管理能量供应、轨道设计无人机与用户之间的信道模型、资源分配，以及与现有基础设施的兼容性。
[0006]在未来6G及以后的无线通信中，无人机作为空中接入节点辅助地面通信成为一种有前途的解决方案。现有的研究成果已经研究了无人机的二维和三维部署和轨迹设计，而
没有考虑功率分配。在考虑无人机运动的复杂动态时，传统方法(例如凸优化，匹配理论)设计无人机的三维轨迹变得具有挑战性。幸运的是，强化学习可以使代理通过学习来提高其处理性能。更明确地说，强化学习能够及时与环境交互以获取用户的信息，并学习轨迹设计深度学习神经，为地面用户提供高质量的服务。由于强化学习的基于环境的决策特性，选择该方法作为考虑地面用户的无人机航迹设计方法。据我们所知，现有的研究成果大多没有考虑下无人机的三维弹道设计的资源分配。此外，在已有的研究成果中，大部分采用强化学习方法来求解无约束的马尔可夫决策过程问题。然而，在无线通信实际应用中，要保证高质量的服务和资源分配的约束是必不可少的，因此，强化学习方法被期待。
[0007]考虑到这些挑战，已经有几项工作利用深度强化学习进行无人机辅助通信。具体而言，在一些观点中，作者提出了一种基于的无人机控制方法，用于最大化移动人群感知系统中的能量效率、数据传输和公平通信覆盖。为了最小化任务完成时间和预期通信中断持续时间的加权和，作者专注于在深度强化学习的帮助下优化无人机轨迹。然而，现有的基于深度强化学习的方法通常假设简化的信道模型或单一服务目标场景，这可能导致模型不匹配，并在实际城市场景中不可避免地造成性能损失，然而，上述基于传统优化解决方案的无人机轨迹设计存在一些严重的局限性。首先，制定优化问题需要一个准确且易于处理的无线电传播模型，而这通常很难获得。其次，基于优化的设计还需要完美的信道状态信息，这在实践中很难获得。最后，现代通信系统中的大多数优化问题都是高度非凸的，难以有效解决。

技术实现思路

[0008]本专利技术提供一种面向复杂无人机网络的三维轨迹设计及资源调度优化方法，针对无人机辅助地面通信系统在模式下进行研究，将深度强化学习领域，提出一种结合的三维无人机辅助通信系统算法，用以联合优化地面用户接入深度学习神经，无人机飞行轨迹，功率及带宽分配方案，在高维决策动作下最大化系统吞吐量并满足资源分配的公平性，以解决上述问题、为了达到上述目的，在本专利技术提供如下的技术方案：
[0009]一种面向复杂无人机网络的三维轨迹设计及资源调度优化方法，其包括如下步骤：
[0010]S1、随机生成无人机和地面用户的初始位置；
[0011]S2、生成无人机空对地通信模型；
[0012]S3、生成无人机通信信道模型；
[0013]S4、生成无人机传输能量消耗模型；
[0014]S5、将所述无人机空对地通信模型、所述无人机通信信道模型和所述无人机传输能量消耗模型参数传入深度强化学习网络中，学习提取特征值；
[0015]S6、通过神经网络训练目标系统模型，优化目标参数；
[0016]S7、从累积的训练经验池中随机抽出动作保持随机性训练。
[0017]进一步地，所述无人机空对地通信模型由无人机和地面用户之间的LOS链路和非视距NLOS链路组成。
[0018]进一步地，所述无人机和地面用户之间的LOS链路和非视距NLOS链路的平均路径损耗PL表示为：
[0019]PL＝P
LoS
×
PL
LoS
+P
NLOS
×
PL
NLOS
；
[0020]其中P
LOS
为LOS链路的路径损耗，P
NLOS
为NLOS链路的路径损耗，且满足P
NLOS
＝1
‑
P
LOS
。
[0021]进一步地，所述无人机通信信道模型包含3个无人机和M个地面用户的无人机辅助下行链路无线网络。
[0022]进一步地，所述地面用户只能连接到一个无人机和占用一个资源块。
[0023]进一步地，所述S4为：通过计算所述无人机水平和垂直速度、无人机在每个时隙的推进能量，从而得到总的消耗能耗，生成无人机传输能量消耗模型。
[0024]进一步地，所述深度网络神经包括2层原始网络和2层目标网络，每层有64个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向复杂无人机网络的三维轨迹设计及资源调度优化方法，其特征在于，所述方法具体为：S1、随机生成无人机和地面用户的初始位置；S2、生成无人机空对地通信模型；S3、生成无人机通信信道模型；S4、生成无人机传输能量消耗模型；S5、将所述无人机空对地通信模型、所述无人机通信信道模型和所述无人机传输能量消耗模型参数传入深度强化学习网络中，学习提取特征值；S6、通过神经网络训练目标系统模型，优化目标参数；S7、从累积的训练经验池中随机抽出动作保持随机性训练。2.根据权利要求1所述面向复杂无人机网络的三维轨迹设计及资源调度优化方法，其特征在于，所述无人机空对地通信模型由无人机和地面用户之间的LOS链路和非视距NLOS链路组成。3.根据权利要求2所述面向复杂无人机网络的三维轨迹设计及资源调度优化方法，其特征在于，所述无人机和地面用户之间的LOS链路和非视距NLOS链路的平均路径损耗PL表示为：PL＝P
LoS
×
PL
LoS
+P
NLOS
×
PL
NLoS
；其中P
LOS
为LOS链路的路径损耗，P
NLOS
为NLOS链路的路径损耗，且满足P
NLOS
＝1
‑
P
LOS
。4.根据权利要求1所述面向复杂无人机网络的三维轨迹设计及资源调度优化方法，其特...

【专利技术属性】
技术研发人员：赵赛，吴荣杰，黄高飞，唐冬，
申请(专利权)人：广州大学，
类型：发明
国别省市：