基于深度强化学习的无人机辅助移动边缘计算优化方法技术

本发明专利技术提供了一种基于深度强化学习的无人机辅助移动边缘计算优化方法，构造了考虑地面障碍物的多无人机辅助移动边缘计算模型，计算无人机和用户的总能耗，并且考虑了障碍物导致的风险，将风险数字化为风险系数，目标函数为系统总能耗与风险系数之和；以最小化系统总能耗与风险系数之和为目的，建立深度强化学习模型；使用DDPG算法联合优化卸载决策与无人机轨迹；在有效避开地面障碍物并保证用户服务质量的同时，最小化无人机和用户设备总能耗。最小化无人机和用户设备总能耗。最小化无人机和用户设备总能耗。

【技术实现步骤摘要】
基于深度强化学习的无人机辅助移动边缘计算优化方法


[0001]本专利技术涉及无人机辅助移动边缘计算
，特别是涉及一种基于深度强化学习的考虑地面障碍物的无人机辅助移动边缘计算卸载决策和轨迹联合优化方法。

技术介绍

[0002]在过去的十几年里，云计算已经成为了一种新的计算范式。它的愿景是云计算，存储和网络管理的集中化，具体指的是数据中心，骨干IP网络和蜂窝核心网络。然后可以利用云中的大量资源提供弹性计算能力和存储，以支持资源受限的终端用户设备，云计算一直在支持许多互联网公司的快速增长。近年来，随着云的功能越来越靠近网络边缘，计算领域出现了一种新的趋势。据估计，在不久的将来，数以百亿记的边缘设备将被部署，它们的处理器速度将呈指数增长，遵循摩尔定律。收集分布在网络边缘的大量空闲计算能力和存储空间，可以产生足够的能量在移动设备上执行计算密集型和延迟关键型任务。这种模式被称为移动边缘计算(MEC)。虽然长时间的传播延迟仍然是云计算的一个关键缺陷，但是近距离接入的MEC被广泛认为是实现下一代互联网各种愿景的关键技术，例如触觉互联网和物联网。目前，学术界和工业界的研究人员都在积极推广MEC技术，致力于移动计算和无线通信两个学科的技术和理论的融合。
[0003]虽然MEC有很多的优点，但是它不能避免地面静态基站的局限性，因此，在任何时间任何地点部署MEC是一个很大的挑战。此外，就如前文所说，地面基础设施在面临自然灾害的时候被毁坏的可能性很大，在山区等地区建造地面基础设施难度大，成本也高。在上述场景下，物联网设备将无法为用户服务。由于无人机的灵活性，无人机辅助的MEC被引入，作为灵活的移动用户的计算服务器，无人机辅助MEC通过在无人机MEC上提供额外的计算资源，可以延长移动设备的工作寿命，加快计算速度，此外，将任务转移到临近的MEC 服务器可以避免移动用户频繁地与云通信或将任务上传到云，从而减轻通信阻塞。
[0004]与传统的MEC系统不同，在使用无人机作为MEC服务器时，由于无人机与用户的距离影响用户卸载任务的卸载延迟与卸载能耗，无人机的飞行轨迹将显著影响用户设备端的能耗以及任务处理的延迟。
[0005]由于无人机的机载能量有限，同时还要分出一部分为机载MEC服务器提供能量，所以要尽量节约无人机的飞行能耗，但是节约无人机的飞行能耗与降低用户的延迟与能量时矛盾的。想要权衡这两者，在降低用户能耗，延迟的同时尽可能降低无人机的能耗，就必须要对无人机的飞行轨迹进行优化。
[0006]因此，亟需一种基于深度强化学习的无人机辅助移动边缘计算优化方法，能够解决现有无人机辅助移动边缘计算中的耗能问题。

技术实现思路

[0007]本专利技术的目的是提供一种基于深度强化学习的无人机辅助移动边缘计算优化方法，以解决上述现有无人机辅助移动边缘计算中的耗能问题。
[0008]为实现上述目的，本专利技术提供了如下方案：
[0009]本专利技术提供一种基于深度强化学习的无人机辅助移动边缘计算优化方法，包括以下步骤：
[0010]S1：构造考虑地面障碍物的多无人机辅助移动边缘计算模型，无人机作为空中边缘计算服务器，为地面的移动用户设备提供服务；
[0011]S2：根据S1模型计算系统总能耗，并考虑无人机避障问题，计算出目标函数；
[0012]S3：以最小化目标函数为目标，建立深度强化学习模型；
[0013]S4：使用深度强化学习算法联合优化卸载决策和无人机轨迹。
[0014]优选地，在S1中，构造考虑地面障碍物的多无人机辅助移动边缘计算模型具体为：
[0015]在系统模型中，设定在一边长为l
max
的方形区域上随机分布着N个用户设备，用户设备集记作在该方形区域上空有M个无人机以高度H飞行，为地面设备提供服务，无人机集记作任务周期为T个连续的时隙，每个时隙的持续时间为Δ；
[0016]设定每个用户设备在每个时隙都会产生一个需要执行的任务，采用二元卸载方式定义一个卸载决策变量z
n，m，t
＝{0，1}；当z
n，m，t
＝1，m≠0时，表示在t时隙，用户n将任务卸载到无人机m；当z
n，m，t
＝1，m＝0时，表示在t时隙，用户n在本地执行计算；当z
n，m，t
＝0时，表示其他情况；由于任务只能在一个地方执行，所以有
[0017]设定用户n在时隙t有一个任务S
n，t
需要执行，则其中D
n，t
代表需要处理的数据量，F
n，t
代表执行此任务所需要的CPU周期数，T
max
表示用户设备最大容忍执行时间；
[0018]当时隙的持续时间Δ足够小时，在时隙内无人机的位置看作不变；设定在时隙t中，每个无人机都沿着方向α
m，t
∈[0，2π)前进d
m，t
∈[0，d
max
]距离；则在时隙 t时，无人机m的位置为其中，0≤X
m，t
≤l
max
，0≤Y
m，t
≤l
max
，在时隙t时，无人机m和无人机UAVm
’
之间的距离为：为了防止碰撞以及相互干扰，无人机和无人机之间设定最小距离R
u
，则有：R
m，m
′
，t
≥R
u
；在时隙t时，用户设备n和无人机之间的距离为：设定无人机有固定的覆盖范围，只有当用户在无人机覆盖范围之内时，用户才能向无人机卸载数据，则有：z
n，m，t
R
n，m，t
≤R
max
；
[0019]设定在该方形区域上存在着I个障碍物，记作障碍物i 的中心
位置为：为了防止无人机撞到这些障碍物，设定一个风险系数该风险系数表示在t时隙，障碍物i对无人机m存在的风险；设定所有障碍物的风险系数都符合高斯分布，但是不同的障碍物拥有不同的变量σ
i
，则得到其中
[0020]优选地，计算系统总能耗以及目标函数具体为：
[0021]在t时隙中，无人机m的飞行能耗为：其中表示无人机m在t时隙内的飞行速度，G是无人机的质量；则在t时隙，所有无人机的飞行能耗为：
[0022]在t时隙中，当用户设备n决定将任务卸载至无人机m执行时，用户设备和无人机之间的信道增益为：其中β0表示参考距离 d0＝1m时的信道增益；用户设备的卸载速率为：其中，B是带宽，P
n
是用户设备卸载任务的传输功率，σ2是无人机的噪声功率；卸载时间为：用户设备n产生的卸载能量为：则在t时隙，所有用户产生的卸载能耗为：
[0023]在t时隙中，当用户设备n决定本地执行任务时，用户设备n所产生的本地计算能耗为：其中，代表计算任务所需时间， f
n，0，t
代表用户设备n的CPU频率，k
n
是与处理器芯本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度强化学习的无人机辅助移动边缘计算优化方法，其特征在于：包括以下步骤：S1：构造考虑地面障碍物的多无人机辅助移动边缘计算模型，无人机作为空中边缘计算服务器，为地面的移动用户设备提供服务；S2：根据S1模型计算系统总能耗，并考虑无人机避障问题，计算出目标函数；S3：以最小化目标函数为目标，建立深度强化学习模型；S4：使用深度强化学习算法联合优化卸载决策和无人机轨迹。2.根据权利要求1所述的基于深度强化学习的无人机辅助移动边缘计算优化方法，其特征在于：在S1中，构造考虑地面障碍物的多无人机辅助移动边缘计算模型具体为：在系统模型中，设定在一边长为l
max
的方形区域上随机分布着N个用户设备，用户设备集记作在该方形区域上空有M个无人机以高度H飞行，为地面设备提供服务，无人机集记作任务周期为T个连续的时隙，每个时隙的持续时间为Δ；设定每个用户设备在每个时隙都会产生一个需要执行的任务，采用二元卸载方式定义一个卸载决策变量z
n，m，t
＝{0，1}；当z
n，m，t
＝1，m≠0时，表示在t时隙，用户n将任务卸载到无人机m；当z
n，m，t
＝1，m＝0时，表示在t时隙，用户n在本地执行计算；当z
n，m，t
＝0时，表示其他情况；由于任务只能在一个地方执行，所以有设定用户n在时隙t有一个任务S
n，t
需要执行，则其中D
n，t
代表需要处理的数据量，F
n，t
代表执行此任务所需要的CPU周期数，T
max
表示用户设备最大容忍执行时间；当时隙的持续时间Δ足够小时，在时隙内无人机的位置看作不变；设定在时隙t中，每个无人机都沿着方向α
m，t
∈[0，2π)前进d
m，t
∈[0，d
max
]距离；则在时隙t时，无人机m的位置为其中，0≤X
m，t
≤l
max
，0≤Y
m，t
≤l
max
，在时隙t时，无人机m和无人机UAVm
’
之间的距离为：为了防止碰撞以及相互干扰，无人机和无人机之间设定最小距离R
u
，则有：R
m，m
′
，t
≥R
u
；在时隙t时，用户设备n和无人机之间的距离为：设定无人机有固定的覆盖范围，只有当用户在无人机覆盖范围之内时，用户才能向无人机卸载数据，则有：z
n，m，t
R
n，m，t
≤R
max
；设定在该方形区域上存在着I个障碍物，记作障碍物i的中心位置为：为了防止无人机撞到这些障碍物，设定一个风险系数该风险系数表示
在t时隙，障碍物i对无人机m存在的风险；设定所有障碍物的风险系数都符合高斯分布，但是不同的障碍物拥有不同的变量σ
i
，则得到其中3.根据权利要求1所述的基于深度强化学习的无人机辅助移动边缘计算优化方法，其特征在于：在S2中，计算系统总能耗以及目标函数具体为：在t时隙中，无人机m的飞行能耗为：其中表示无人机m在t时隙内的飞行速度，G是无人机的质量；则在t时隙，所有无人机的飞行能耗为：在t时隙中，当用户设备n决定将任务卸载至无人机m执行时，用户设备和无人机之间的信道增益为：其中β0表示参考距离d0＝1m时的信道增益；用户设备的卸载速率为：其中，B是带宽，P
n
是用户设备卸载任务的传输功率，σ2是无人机的噪声功率；卸载时间为：用户设备n产生的卸载能量为：则在t时隙，所有用户产生的卸载能耗为：在t时隙中，当用户设备n决定本地执行任务时，用户设备n所产生的本地计算能耗为：其中，代表计算任务所需时间，f
n，0，t
代表用户设备n的CPU频率，k
n
是与处理器芯片有关的正系数；则在t时隙，所有用户设备的本地计算能耗为：在t时隙中，当用户设备n将任务卸载至无人机m时，无人机m产生的计算能耗为：其中，代表计算任务所需的时间，f
n，m，t
代表在t时隙无人机m分配给来自用户设备n的任务的CPU频率，k
m
是与处理器芯片...

【专利技术属性】
技术研发人员：鲁霖，鲁鹏飞，莫木新，
申请(专利权)人：深圳市芯中芯科技有限公司，
类型：发明
国别省市：