一种无人机孪生网络映射误差情况下计算任务智能卸载方法技术

本发明专利技术公开了一种无人机孪生网络映射误差情况下计算任务智能卸载方法，系统及计算机可读存储介质，包括以下步骤：S1：构建智能终端和无人机的数字孪生模型，利用所述孪生模型对基站服务区域内的智能终端、无人机的运行状态进行模拟和仿真并生成孪生数据；S2：构建计算卸载和资源分配策略，将最大化无人机效用函数作为优化目标；S3：将优化目标构造成马尔可夫决策过程，并利用孪生数据优化竞争近端策略，利用优化后的竞争近端策略求解马尔可夫决策过程；S4：利用步骤S3输出的决策动作进行飞行轨迹制定、计算卸载及其资源的分配。本发明专利技术减轻终端用户和边缘服务器之间不可靠的远程通信，降低系统延迟，增强数据的实用性。增强数据的实用性。增强数据的实用性。

【技术实现步骤摘要】
一种无人机孪生网络映射误差情况下计算任务智能卸载方法


[0001]本专利技术涉及无人机
，更具体地，涉及一种无人机孪生网络映射误差情况下计算任务智能卸载方法、系统及计算机可读存储介质。

技术介绍

[0002]物联网设备及其应用日益普及，越来越多的需要资源的应用和新颖的大数据服务正在发展，并在我们的日常生活中发挥作用。然而，由于物理尺寸、电池容量和计算资源有限等原因，终端设备在服务延迟敏感和计算密集型应用方面存在困难。移动边缘计算(Mobile edge computing，MEC)最近被认为是一种很有前景的技术，可以在无线网络边缘为资源有限的终端提供服务。终端通过计算卸载服务，将其计算密集型任务卸载到MEC服务器执行。因此，任务执行的大部分能耗从资源有限的终端转移到资源丰富的MEC服务器上。从而减少任务的计算延迟和能耗，延长整个网络的寿命并且提高网络的服务质量。但是，当大量的任务同时被卸载给MEC服务器时，MEC服务器上可能会发生激烈的资源竞争，导致网络拥塞和性能下降。而端到端(Device
‑
to
‑
device,D2D)协作被认为是一种潜在的资源短缺问题的解决方案，由空闲的移动用户、终端设备提供空闲的计算资源，进行卸载任务的计算，可以有效降低延迟。但是，上述MEC技术不支持灵活部署，在一些通信基础设施分布稀疏，通信条件较差的环境中，如高原、森林等地区，终端还是难以获得可靠的计算服务。
[0003]随着无人机技术的不断发展和成熟，以及无人机的灵活部署、工作效率高等优点，工业级的无人机被广泛应用，比如应用在救灾、电力、航测等。同时无人机已被提出作为5G及5G之后的飞行MEC服务器，以扩展无线覆盖范围，并服务于不确定和极端环境下的终端，以较低的网络开销和执行延迟提供计算卸载服务。要进行有效、可靠的计算卸载服务，提供无处不在的通信和计算支持，无人机网络边缘计算需要对计算任务卸载、本地计算、无人机部署以及无人机飞行轨迹的联合优化。传统的优化方法依靠人类经验进行优化决策，人力成本较高。随着近年来人工智能技术在各行业的大量应用，在移动网络优化领域应用的机器学习和人工智能算法也在激增，如利用多目标优化模型优化网络容量和覆盖率，利用神经网络在移动性管理中预测用户的目标位置，用深度神经网络(Deep Neural Network，DNN)实现的近实时资源分配。然而，这些方法不能适应高维网络状态的动态变化，结果往往是次优的。因此，一些研究采用强化学习(Reinforcement Learning，RL)来解决这一问题。强化学习基于系统状态转移和动作后的反馈奖励，学习在未知环境下的最优决策。它可以与复杂和动态的环境交互，以优化难以建模的学习目标。然而，训练样本的获取难度和时间成本是一个很大的挑战。为了做到这一点，这些算法在探索过程中直接与物理网络交互，这意味着它们将当前未经训练的策略产生的动作直接施加到网络中，以获得训练样本。这是特别危险的，因为当前的次优行动甚至是较差行动可能会恶化网络性能，在无人机网络中可能造成难以挽回的巨大损失。
[0004]现有技术中公开了一种基于数字孪生的无人机集群轨迹优化和任务卸载方法，包括：构建无人机集群辅助边缘计算模型；构建物理实体网络；构建物理实体网络的数字孪生
网络，拟合用户设备和无人机的地理位置、资源状态信息；构建无人机轨迹、用户设备卸载决策和计算资源分配的优化模型；求解无人机轨迹和用户设备、无人机的计算资源分配策略；获取用户设备的卸载决策；获得无人机的轨迹，用户设备和无人机的计算资源最优分配策略，以及获得用户设备的计算任务最优卸载决策。该方案中采用两个算法进行优化，复杂度较高，稳定性不佳。
[0005]为了解决上述问题，本专利技术提出了一种无人机孪生网络映射误差情况下计算任务智能卸载方法、系统及计算机可读存储介质。

技术实现思路

[0006]本专利技术提供一种无人机孪生网络映射误差情况下计算任务智能卸载方法、系统及计算机可读存储介质，能够减轻终端用户和边缘服务器之间不可靠的远程通信，降低系统延迟，增强数据的实用性。
[0007]本专利技术的首要目的是为解决上述技术问题，本专利技术的技术方案如下：
[0008]本专利技术第一方面提供了一种无人机孪生网络映射误差情况下计算任务智能卸载方法，包括以下步骤：一种无人机孪生网络映射误差情况下计算任务智能卸载方法，包括以下步骤：
[0009]S1：构建智能终端和无人机的数字孪生模型，利用所述孪生模型对基站服务区域内的智能终端、无人机的运行状态进行模拟和仿真并生成孪生数据；
[0010]S2：构建计算卸载和资源分配策略，将最大化无人机效用函数作为优化目标；
[0011]S3：将优化目标构造成马尔可夫决策过程，并利用孪生数据优化竞争近端策略，利用优化后的竞争近端策略求解马尔可夫决策过程；
[0012]S4：利用步骤S3输出的决策动作进行飞行轨迹制定、计算卸载及其资源的分配。
[0013]进一步的，智能终端的数字孪生模型表达式为：
[0014]DT
i
＝{M
i
,D
i
,s
i
(t),s
i
(t+1)}
ꢀꢀ
(1)
[0015]其中，M
i
分别表示智能终端的行为模型，s
i
(t)分别表示智能终端实时状态，s
i
(t+1)表示智能终端的更新状态。
[0016]进一步的，无人机的孪生模型表达式为：
[0017]DT
j
＝{M
j
,D
j
,s
j
(t),s
j
(t+1)}
ꢀꢀ
(2)
[0018]其中，M
j
表示无人机的行为模型，s
j
(t)表示无人机的实时状态，s
j
(t+1)表示无人机的更新状态。
[0019]进一步的，构建计算卸载和资源分配策略，将最大化无人机效用函数作为优化目标包括：定义场景、定义通信通信模型、定义计算卸载模型；
[0020]定义场景：
[0021]设定有随机分布的I个智能终端，记作U＝{1,2,
…
,I}，每个智能终端既能在本地执行计算任务，也能将计算任务卸载到携带边缘服务器的无人机执行，设定无人机从当前位置飞行到指定的悬停点执行计算任务，并且在同一时间无人机只服务一个智能终端，设无人机的最大服务时长为T，在提供计算服务过程中，无人机处在高度为H的水平面上，在第t时刻，t∈{0,1,2,...,T}，无人机选择第k个悬停点的决策变量为a
k
，其中，k∈{0,1,2,...,K}，当a
k
＝1时，表示无人机选择第k个悬停点，此时，无人机的位置表示为
反之，a
k
＝0表示无人机停留在当前位置，地面智能终本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机孪生网络映射误差情况下计算任务智能卸载方法，其特征在于，包括以下步骤：S1：构建智能终端和无人机的数字孪生模型，利用所述孪生模型对基站服务区域内的智能终端、无人机的运行状态进行模拟和仿真并生成孪生数据；S2：构建计算卸载和资源分配策略，将最大化无人机效用函数作为优化目标；S3：将优化目标构造成马尔可夫决策过程，并利用孪生数据优化竞争近端策略，利用优化后的竞争近端策略求解马尔可夫决策过程；S4：利用步骤S3输出的决策动作进行飞行轨迹制定、计算卸载及其资源的分配。2.根据权利要求1所述的一种无人机孪生网络映射误差情况下计算任务智能卸载方法，其特征在于，智能终端的数字孪生模型表达式为：DT
i
＝{M
i
,D
i
,s
i
(t),s
i
(t+1)}
ꢀꢀꢀꢀ
(1)其中，M
i
分别表示智能终端的行为模型，s
i
(t)分别表示智能终端实时状态，s
i
(t+1)表示智能终端的更新状态。3.根据权利要求1所述的一种无人机孪生网络映射误差情况下计算任务智能卸载方法，其特征在于，无人机的孪生模型表达式为：DT
j
＝{M
j
,D
j
,s
j
(t),s
j
(t+1)}
ꢀꢀꢀꢀ
(2)其中，M
j
表示无人机的行为模型，s
j
(t)表示无人机的实时状态，s
j
(t+1)表示无人机的更新状态。4.根据权利要求1所述的一种无人机孪生网络映射误差情况下计算任务智能卸载方法，其特征在于，构建计算卸载和资源分配策略，将最大化无人机效用函数作为优化目标包括：定义场景、定义通信通信模型、定义计算卸载模型；定义场景：设定有随机分布的I个智能终端，记作U＝{1,2,
…
,I}，每个智能终端既能在本地执行计算任务，也能将计算任务卸载到携带边缘服务器的无人机执行，设定无人机从当前位置飞行到指定的悬停点执行计算任务，并且在同一时间无人机只服务一个智能终端，设无人机的最大服务时长为T，在提供计算服务过程中，无人机处在高度为H的水平面上，在第t时刻，t∈{0,1,2,...,T}，无人机选择第k个悬停点的决策变量为a
k
，其中，k∈{0,1,2,...,K}，当a
k
＝1时，表示无人机选择第k个悬停点，此时，无人机的位置表示为反之，a
k
＝0表示无人机停留在当前位置，地面智能终端i的位置用w
i
＝(x
i
,y
i
)表示；定义通信模型：在第t时刻，无人机悬停在第k个悬停点，定义信道带宽为B，地面智能设备轮流卸载计算任务到无人机，第i个智能设备与在第k个悬停点的无人机的通信速率表示为：其中p
i
为第i个智能设备的传输功率，σ表示噪声功率，表示第i个智能终端与无人机之间的信道增益，其中β是固定传输损耗，m表示路径损耗因子，d
i,k
表示无人机的第k个悬停点到用户i的通信距离；
定义计算卸载模型：定义第i个智能设备的本地计算时延为如果第i个智能设备将计算任务卸载到无人机，定义计算卸载时延为：其中表示数据传输时延，表示计算时延，f
i,k
为无人机分配给智能设备i的计算资源，定义a
i,k
为卸载决策，当a
i.k
＝1时，表示第i个智能设备将计算任务卸载到悬停在第k个悬停点的无人机，反之a
i.k
＝0时，表示第i个智能设备将在本地进行任务计算，由于无人机采用悬停方式执行卸载任务计算，因此无人机的悬停时间和计算卸载时延相等，即无人机在悬停点k的悬停时间表示为：无人机在水平方向上需要从悬停点k'推进到当前悬停点k的位置，因此无人机的飞行能耗表示为：其中P1为推进功率，V为无人机的飞行速度，据公式(5)，无人机在第k个悬停点的悬停能耗表示为：E
h
(t)＝P2T
k
ꢀꢀꢀꢀ
(7)式中P2为无人机悬停功率，T
k
为悬停时间，无人机执行卸载任务计算的能耗表示为：综上所述，根据公式(6)，(7)和(8)，无人机在计算卸载过程中的总能耗表示为：将无人机计算处理任务R
i
的效用函数定义为：其中a
i
表示无人机计算处理大小为H
i
(t)任务的单位价格，b
i
表示无人机单位计算资源价格，u表示无人机单位成本价格，则，以最大化无人机效用函数作为优化目标表示如下：价格，u表示无人机单位成本价格，则，以最大化无人机效用函数作为优化目标表示如下：C2：E
f
(t)+E
h
(t)+E
c
(t)<RE(t
‑
1),C3:a
k
∈(0,1),a
i,k
∈(0,1),
C5:0≤f
i,k
≤f
max
,其中C1表示无人机在计算卸载过程中的总能耗不能超过自身电池最大能量E
d
；C2表示无人机当前时刻计算卸载总能耗小于上一时刻的无人机电池剩余能量RE(t
‑
1)；C3表示无人机的悬停决策以及地面智能终端i的卸载决策；C4表示地面智能终端i只能将任务卸载给一个无人机；同一时刻每个无人机只能为一个地面智能终端提供计算卸载服务；...

【专利技术属性】
技术研发人员：蒋丽，缪家辉，谢正昊，赖健鑫，李嘉柱，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：