一种无人机辅助移动边缘计算的调度优化方法及系统技术方案

本发明专利技术公开了一种无人机辅助移动边缘计算的调度优化方法及系统，涉及无人机移动边缘计算的技术领域，所述方法包括构建当无人机和若干个用户设备额移动边缘计算系统的卸载模型，并计算完成每个计算任务的能耗；以用户设备的平均能耗最小化为目标，建立联合无人机轨迹和用户设备调度的优化问题，将其转化为马尔科夫决策过程，定义移动边缘计算系统卸载模型的状态空间、动作空间和回报函，用于训练基于SAC算法构建的深度神经网络，利用训练好的深度神经网络可以进行调度优化，获得最优调度策略，可以规划出无人机的连续动作，获得合理、准确的飞行轨迹和用户设备的选择策略，复杂程度低，收敛性强，减少了用户设备的平均计算能耗。减少了用户设备的平均计算能耗。减少了用户设备的平均计算能耗。

【技术实现步骤摘要】
一种无人机辅助移动边缘计算的调度优化方法及系统


[0001]本专利技术涉及无人机移动边缘计算的
，更具体地，涉及一种无人机辅助移动边缘计算的调度优化方法及系统。

技术介绍

[0002]物联网计算的飞速发展，推动着计算任务密集型智能设备的普及，如自动驾驶、虚拟现实等，使生活更加便捷。在现阶段虽然移动设备配备了强大的硬件，但是在满足低时延的要求下完成移动应用程序的计算任务仍需要巨大的能耗。近些年提出了移动边缘计算(MEC)来克服这一缺点，即将用户设备的计算任务转移到网络边缘进行计算，极大降低设备的能耗。最近，无人机搭载MEC在工业界和学术界也被广泛讨论，利用无人机的覆盖能力和机动性，实现更低时延要求、提供更灵活的计算服务以及降低成本。无人机搭载MEC存在以下问题：(1)如何选择适当的设备关联，即用户设备选择卸载计算任务或是本地处理计算任务，以尽量减少所有用户设备的长期能量消耗；(2)考虑用户设备计算任务不同，如何实时控制无人机的飞行轨迹，即飞行方向和距离，特别是无人机需要到达特定终点的情况。对于MEC和无人机的结合使用方法，已经有很多学者做了相关研究。由于无人机的策略空间，即最优轨迹，是连续的空间，传统的穷举搜索方法很难解决。有些学者提出了一种量化的动态规划算法来解决MEC的资源分配问题，由于无人机的飞行选择几乎是无限的，该算法的复杂性非常高；或者是将无人机轨迹离散化为无人机位置序列，将连续空间转化成离散的有限空间，使得问题可处理化，也有通过离散变量近似无人机轨迹，通过传统的凸优化方法进行优化，但上述方法会降低无人机的控制精度，无法获得最优控制策略。
[0003]现有技术公开了一种物联网的移动边缘计算方法、装置及系统，包括：基于各个无人机的当前模拟位置和目标物联网区域内的各个物联网设备的实际位置，为各个物联网设备分配无人机；模拟将物联网设备的任务卸载至分配的无人机，及模拟各个无人机基于深度增强学习算法对接收的任务进行调度；利用差分进化算法对各个无人机的当前模拟位置进行迭代更新，继续执行上述操作，直至迭代更新次数达到预设阈值时停止操作；基于每次操作中物联网设备分配的无人机、无人机进行任务调度的结果和无人机的当前模拟位置，确定各个无人机的最优坐标位置；触发各个无人机移动至其最优坐标位置下调度对应物联网设备上的任务。该方法是将物联网设备的任务均选择卸载分配至无人机，在无人机负载均衡的情况系对任务进行调度；仅考虑了无人机的负载均衡，没有联合考虑无人机轨迹和用户设备调度策略，轨迹规划不合理，计算能耗高。

技术实现思路

[0004]本专利技术为克服上述现有技术无法规划无人机的连续动作，获得准确调度策略的缺陷，提供一种无人机辅助移动边缘计算的调度优化方法及系统，通过联合优化无人机轨迹和用户设备调度，获得最优调度策略，可以规划出无人机的连续动作，获得合理、准确的飞行轨迹和用户设备的选择策略，复杂程度低，收敛性强，减少了用户设备的平均计算能耗。
[0005]为解决上述技术问题，本专利技术的技术方案如下：
[0006]本专利技术提供一种无人机辅助移动边缘计算的调度优化方法，包括：
[0007]S1：构建移动边缘计算系统的卸载模型，所述模型包括一个无人机和若干个用户设备；
[0008]S2：根据移动边缘计算系统的卸载模型，获得计算任务的能耗；
[0009]S3：以用户设备的平均能耗最小化为目标，建立联合无人机轨迹和用户设备调度的优化问题；
[0010]S4：将所述优化问题转化为马尔科夫决策过程，定义移动边缘计算系统卸载模型的状态空间、动作空间和回报函数；
[0011]S5：基于SAC算法构建深度神经网络，利用状态空间、动作空间和回报函数对深度神经网络进行训练，获得训练好的深度神经网络；
[0012]S6：利用训练好的深度神经网络进行调度优化，获得最优调度策略，即无人机飞行轨迹和用户设备的选择策略。
[0013]SAC算法是一种基于最大熵的强化学习框架和Actor
‑
Critic网络的离线随机策略算法，最主要特征是熵正则化，熵是策略随机性的一种衡量，增加熵可以带来更多的策略探索，通过训练策略权衡期望回报和熵值，可以加快网络学习速度，同时避免策略收敛至局部最优解；Actor网络的目的是获得最大回报期望和最大熵，即在成功完成任务的同时探索策略空间中的其他策略；离线方式的网络更新与Actor
‑
Critic网络相结合在连续控制基准任务上达到很好的性能，更加稳定且收敛性更好。
[0014]优选地，所述步骤S1中，构建的移动边缘计算系统的卸载模型具体为：
[0015]移动边缘计算系统的卸载模型包括单个无人机和N个用户设备，无人机最多同时服务K个用户设备，每个用户设备选择将计算任务由本地计算或者卸载至无人机计算；设定无人机的飞行区域的长度和宽度分别为X
max
和Y
max
，无人机在固定高度h以v(t)恒定速度飞行，天线发射角度为θ，飞行最大速度为v
max
；无人机的飞行时间为T个时隙，每个时隙长度为τ，在任意时刻完成计算任务的时间不能超过最大时延T
max
；
[0016]设无人机的坐标为[X(t)，Y(t)，h]，用户设备的坐标为[x
i
(t)，y
i
(t)，0]，i∈{1，2，
…
，N}；设定无人机在t时刻的飞行距离和水平方向角度分别为d(t)和θ
h
(t)，则X(t)＝X(t
‑
1)+d(t)cos(θ
h
(t))，Y(t)＝Y(t
‑
1)+d(t)sin(θ
h
(t))；无人机的最大覆盖范围为R
max
＝h
·
tan(θ)，飞行速度为
[0017]定义t时刻的计算任务为：
[0018]I
i
(t)＝{D
i
(t)，F
i
(t)}
[0019]式中，D
i
(t)表示选择卸载计算t时刻的计算任务时的数据传输量，F
i
(t)表示完成t时刻的计算任务所需的计算能力；
[0020]定义α
i
(t)∈{0，1}表示用户设备的选择策略，α
i
(t)＝0时表示t时刻的计算任务本地计算，α
i
(t)＝1时表示t时刻的计算任务卸载计算。
[0021]优选地，所述步骤S2中，根据移动边缘计算系统的卸载模型，获得计算任务所消耗的能量包括：
[0022]用户设备选择卸载计算，即α
i
(t)＝1；此时该用户设备与无人机的水平面上的距离为：
[0023][0024]用户设备配备单根天线，为了避免用户设备之间的干扰，采用频分多址协议卸载方式；由于无人机飞行高度一定，采用自由空间信道模型，则卸载计算时上行链路速本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机辅助移动边缘计算的调度优化方法，其特征在于，包括：S1：构建移动边缘计算系统的卸载模型，所述模型包括一个无人机和若干个用户设备；S2：根据移动边缘计算系统的卸载模型，获得计算任务的能耗；S3：以用户设备的平均能耗最小化为目标，建立联合无人机轨迹和用户设备调度的优化问题；S4：将所述优化问题转化为马尔科夫决策过程，定义移动边缘计算系统卸载模型的状态空间、动作空间和回报函数；S5：基于SAC算法构建深度神经网络，利用状态空间、动作空间和回报函数对深度神经网络进行训练，获得训练好的深度神经网络；S6：利用训练好的深度神经网络进行调度优化，获得最优调度策略，即无人机飞行轨迹和用户设备的选择策略。2.根据权利要求1所述的无人机辅助移动边缘计算的调度优化方法，其特征在于，所述步骤S1中，构建的移动边缘计算系统的卸载模型具体为：移动边缘计算系统的卸载模型包括单个无人机和N个用户设备，无人机最多同时服务K个用户设备，每个用户设备选择将计算任务由本地计算或者卸载至无人机计算；设定无人机的飞行区域的长度和宽度分别为X
max
和Y
max
，无人机在固定高度h以v(t)恒定速度飞行，天线发射角度为θ，飞行最大速度为v
max
；无人机的飞行时间为T个时隙，每个时隙长度为τ，在任意时刻完成计算任务的时间不能超过最大时延T
max
；将无人机的坐标表示为[X(t)，Y(t)，h]，用户设备的坐标表示为[x
i
(t)，y
i
(t)，0]，i∈{1，2，
…
，N}；设定无人机在t时刻的飞行距离和水平方向角度分别为d(t)和θh(t)，则X(t)＝X(t
‑
1)+d(t)cos(θh(t))，Y(t)＝Y(t
‑
1)+d(t)sin(θ
h
(t))；无人机的最大覆盖范围为R
max
＝h
·
tan(θ)，飞行速度为定义t时刻的计算任务为：I
i
(t)＝{D
i
(t)，F
i
(t)}式中，D
i
(t)表示选择卸载计算t时刻的计算任务时的数据传输量，F
i
(t)表示完成t时刻的计算任务所需的计算能力；定义α
i
(t)∈{0，1}表示用户设备的选择策略，α
i
(t)＝0时表示t时刻的计算任务本地计算，α
i
(t)＝1时表示t时刻的计算任务卸载计算。3.根据权利要求2所述的无人机辅助移动边缘计算的调度优化方法，其特征在于，所述步骤S2中，根据移动边缘计算系统的卸载模型，获得计算任务所消耗的能量包括：用户设备选择卸载计算，即α
i
(t)＝1；此时该用户设备与无人机的水平面上的距离为：则卸载计算时上行链路速率为：式中，B表示通信信道的平均带宽，P
Tr
表示用户设备数据卸载的传输功率，ρ表示传输功率系数；
用户设备传输计算任务的时间开销为：无人机处理计算任务的时间开销为：式中，f
U
(t)表示无人机的计算能力；则用户设备选择卸载计算的总时间开销为：用户设备选择卸载计算的能耗为：式中，表示第i个用户设备选择卸载计算的能耗。4.根据权利要求3所述的无人机辅助移动边缘计算的调度优化方法，其特征在于，所述步骤S2中，根据移动边缘计算系统的卸载模型，获得计算任务所消耗的能量还包括：用户设备选择本地计算，即α
i
(t)＝0；用户设备处理计算任务的时间开销为：式中，表示用户设备的计算能力；将用户设备的功耗设定为则用户设备选择本地计算的能耗为：式中，k
i
为第一常数，v
i
为第二常数。5.根据权利要求4所述的无人机辅助移动边缘计算的调度优化方法，其特征在于，所述步骤S3中，以用户设备的平均能耗最小化为目标，建立联合无人机轨迹和用户设备调度的优化问题，具体为：定义飞行动作集合用户设备调度策略集合则优化问题P表示为：P：P：P：P：P：P：
其中，E
i
(t)表示用户设备的能耗，当α
i
(t)＝1时，当α
i
(t)＝0时，(t)＝0时，表示约束无人机最多同时服务K个用户设备，α
i
(t)S
i
(t)≤R
max
表示约束选择卸载计算的用户设备在无人机的最大覆盖范围中。6.根据权利要求5所述的无人机辅助移动边缘计算的调度优化方法，其特征在于，所述步骤S4中，设计的移动边缘计算系统卸载模型的状态空间和动作空间具体为：在移动边缘计算系统的卸载模型中，无人机与用户设备相当于一个智能体，在每个时隙，智能体从环境中观...

【专利技术属性】
技术研发人员：张广驰，何梓楠，崔苗，刘圣海，王日明，王昆，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：