一种边端协同环境下基于启发式算法的增强现实任务卸载方法技术

本发明专利技术涉及边端协同环境下基于启发式算法的增强现实任务卸载方法，本发明专利技术首先将AR总任务划分为若干个细粒度子任务，并确认每一个AR子任务大小；确定影响AR子任务执行时延的边缘服务器底层环境特征；收集“特征—时延”数据，构建BN并预测AR子任务在边缘服务器上的执行时延；计算AR子任务在移动终端的执行时延，以及卸载至边缘服务器的总时延；利用PSO算法将各AR总任务卸载方案编码，并利用GA加速方案收敛后，给出总时延最短的方案作为AR任务的最终卸载方案。本发明专利技术能设计出合理的AR任务卸载策略，能有效降低AR任务的执行总时延，并更快返回用户与场景的交互结果。返回用户与场景的交互结果。返回用户与场景的交互结果。

【技术实现步骤摘要】
一种边端协同环境下基于启发式算法的增强现实任务卸载方法


[0001]本专利技术涉及一种边端协同环境下基于启发式算法的增强现实任务卸载方法，属于边端协同下的任务卸载


技术介绍

[0002]随着当前移动设备的大量普及，运行于不同操作系统的移动终端引入了对增强现实(Augmented Reality，AR)技术的支持，例如Google所推出的ARCore以及苹果公司的ARKit。由于具备深度融合数字与物理世界信息的能力，未来基于移动终端所开发的AR应用必将改变当前的人机交互方式。
[0003]在AR应用运行于移动终端的过程中，确保低时延这一服务质量指标非常重要，因为低时延可以减少用户使用AR应用过程中所产生的眩晕感，从而提升其沉浸式体验。然而，从技术实现角度看，一个完整的AR应用任务是由以下五个细粒度的子任务按顺序执行完成，即：视频采集、位置跟踪、目标映射、目标检测和结果呈现。其中，每一个子任务的执行都需要耗费大量的CPU算力、网络带宽、内存容量和其他的资源。因此，对于硬件资源有限的移动终端来说，以较低时延来保证AR任务的执行是存在困难的。
[0004]在传统的以云为中心的服务模式中，上述这些资源密集型的AR子任务可以被卸载至云服务器上，从而利用其强大的集群对任务和数据进行处理和分析。但长距离的传输可能会增加传输延迟以及用户隐私泄露的风险。近年来，边缘计算(Edge Computing，EC)的兴起为上述困境提供了一种折中方案。EC可以将移动终端所产生的部分、或是全部AR子任务卸载至CPU算力、内存等资源较为丰富的多个边缘服务器上，从而以一种轻量级的边端协同服务模式，既降低了任务在端、云之间传输的能耗与时延，又缓解了中心云服务器的压力，同时还能保证任务在边缘服务器端执行的并行性。
[0005]然而，在边端协同环境下，合理卸载多个AR子任务至不同边缘服务器，从而使得AR总任务的时延最短，这是具有挑战性的。具体体现为以下两个方面。
[0006](1)在设计各AR子任务的卸载策略时，首先需对其在各边缘服务器上的执行时延进行评估和预测，并根据预测结果进一步规划卸载方案。然而，由于边缘计算平台的异构性，使其具备了差异化的底层环境特征(包括：软件特征、硬件特征、配置特征、运行时环境特征)。这些特征之间，以及特征与AR子任务的执行时延之间具有不确定的非线性依赖关系，这给执行时延的预测带来了挑战。
[0007](2)由于各项AR子任务的执行存在时序关系，因此，AR总任务的实施流程如图1(a)所示，且该过程可被抽象为一个如图1(b)所示的带权有向图。其中，节点T1至T5表示各项AR子任务，而节点之间不同的有向边及边的权值，则表示不同的子任务卸载方案及其所对应的时延。所以，设计一个令AR总任务执行时延最优的方案，可视作在不同节点之间找到一条路径，最终形成一个最短回路。这是图论中的旅行商问题(Travelling Salesman Problem，TSP)，且是NP难的。
[0008]现有技术中，边端协同环境下的任务卸载方法大致可分为基于数学优化、基于机器学习、以及基于工程控制这3类。
[0009]基于数学优化的任务卸载方法，是通过建立一个涉及能耗、时延、网络带宽、负载均衡等指标的优化模型，然后通过整数规划、启发式算法、博弈论等，在诸多候选项中找到最优方案。《云边协同系统中基于博弈论的资源分配与任务卸载方案》，系统仿真学报，2022，综合考虑了时延、能耗和计算资源后，构建云边协同系统中的效用最大化问题。通过博弈论的资源分配和任务卸载方案来建立问题模型，并利用凸优化条件以及基于博弈论的分布式任务卸载算法求得最优解。
[0010]基于机器学习的任务卸载方法，主要是通过收集“任务特征
‑
卸载目标”数据后，利用监督学习、非监督学习、强化学习等方法建立任务卸载模型，从而当新任务到来时，能够基于模型预测结果给出相应的解决方案。《基于深度强化学习的边云协同资源分配算法》，计算机科学，2022，为降低多终端在进行任务卸载时的时延总和，提出了一种基于深度强化学习的任务卸载策略，且仿真实验的结果证明该算法具有较好的收敛性。
[0011]基于工程控制的任务卸载，是通过对任务实施情况进行实时地监控和分析，并在当有违反任务规定时延等指标的行为发生后，及时对卸载策略进行调整。《一种基于数字孪生的中继边缘网络任务卸载方法》，中国专利技术专利(CN113590232A)，2021，搭建了一个中继边缘网络任务卸载策略模型，将当前的模型及最优任务卸载策略模型由边缘服务器转发给中继节点，并通过中继节点再转发给与其通信的用户终端。用户终端和中继节点根据最优任务卸载策略模型进行相应的任务卸载。
[0012]上述公知表明，当前大多工作所涉及的卸载方案，主要针对的是单一、非连续性的任务。因此，本专利技术针对AR任务可以被划分为粒度较细的子任务，且各项子任务的运行具有时序性这一特点，提出一种边端协同下的AR任务卸载办法。首先，利用爬山法和最大似然估计(Maximum Likelihood Estimation，MLE)构建一个贝叶斯网络(Bayesian Network，BN)，来评估、量化边缘服务器的多个底层环境特征之间存在不确定性依赖关系，从而实现对各项AR子任务在不同边缘服务器上执行时延的准确预测；随后，将AR总任务的卸载抽象为TSP问题的求解，并用粒子群算法(Particle Swarm Algorithm，PSO)将多个卸载方案编码成粒子后，再通过遗传算法(Genetic Algorithm，GA)中的交叉和变异操作，来加速粒子的收敛，最终得到一个令总时延最短的AR总任务卸载方案。
[0013]任务卸载近年来被广泛应用于边端协同领域。然而，将AR任务的卸载抽象为TSP问题的求解，并利用贝叶斯网络和启发式算法来获取令AR任务执行时延最短的解决方案，目前还未见报道。

技术实现思路

[0014]为了解决上述问题，本专利技术提供了一种边端协同环境下基于启发式算法的增强现实任务卸载方法，也以用于缓解移动终端硬件资源受限，所导致的其上所运行的资源密集型的增强现实AR任务的时延无法保证这一局限性，本专利技术能得到一个令总时延最短的AR总任务卸载方案。
[0015]本专利技术的技术方案是：一种边端协同环境下基于启发式算法的增强现实任务卸载方法，所述方法的具体步骤如下：
[0016]Step1、将AR总任务划分为若干个细粒度子任务，并确认每一个AR子任务大小；
[0017]Step2、确定影响AR子任务执行时延的边缘服务器底层环境特征；
[0018]Step3、收集“特征
‑
时延”数据，构建BN并预测AR子任务在边缘服务器上的执行时延；
[0019]Step4、计算AR子任务在移动终端的执行时延，以及卸载至边缘服务器的总时延；
[0020]Step5、利用PSO算法将各AR总任务卸载方案编码，并利用GA加速方案收敛后，给出总时延最短的方案作为AR任务的最终卸载本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种边端协同环境下基于启发式算法的增强现实任务卸载方法，其特征在于：所述方法的具体步骤如下：Step1、将AR总任务划分为若干个细粒度子任务，并确认每一个AR子任务大小；Step2、确定影响AR子任务执行时延的边缘服务器底层环境特征；Step3、收集“特征—时延”数据，构建BN并预测AR子任务在边缘服务器上的执行时延；Step4、计算AR子任务在移动终端的执行时延，以及卸载至边缘服务器的总时延；Step5、利用PSO算法将各AR总任务卸载方案编码，并利用GA加速方案收敛后，给出总时延最短的方案作为AR任务的最终卸载方案。2.根据权利要求1所述的边端协同环境下基于启发式算法的增强现实任务卸载方法，其特征在于：所述Step1中，一个AR总任务划分为以下5个细粒度子任务：(1)视频采集，负责将移动终端的原始视频剪辑成多个帧的图像；(2)位置跟踪，负责确定用户在真实环境下的位置；(3)目标映射，负责将位置跟踪的结果转化为三维几何坐标；(4)目标检测，负责使用无标记或基于标记的计算机视觉技术来检测虚拟物体；(5)结果呈现，负责将增强的信息通过终端显示出来；上述这些任务分别用T1～T5表示，且每一个任务的大小被表示为ω
i
，i∈{1,2,
…
5}。3.根据权利要求1所述的边端协同环境下基于启发式算法的增强现实任务卸载方法，其特征在于：所述Step2中，所述边缘服务器底层环境特征采用软件特征、硬件特征、配置特征、以及运行时环境特征；通过调整上述4中特征的不同组合形式以及各个特征差异化的取值，得到多组特征配置下的边缘服务器。4.根据权利要求1所述的边端协同环境下基于启发式算法的增强现实任务卸载方法，其特征在于：所述Step3包括如下步骤：Step3.1：数据集准备：将不同的AR子任务运行于Step2中特征配置固定的边缘服务器上，并收集AR子任务在当前配置下，其所对应的时延数据；Step3.2：利用数据集D构建BN：利用所采集到的数据集，通过结构构建和参数计算来构建对应的BN；Step3.3：利用所构建的BN预测不同边缘服务器上所运行的AR子任务的时延。5.根据权利要求4所述的边端协同环境下基于启发式算法的增强现实任务卸载方法，其特征在于：所述Step3.1包括：假定从Step2中选择了|f|个特征作为影响AR子任务运行时延的特征，则其中第fi个特征被表示为F
fi
(fi∈{1，2，...，|f|)，边缘服务器的配置被表示为F＝{F1，F2，...，F
|f|
}，而对应子任务的运行时延则被表示为d
exe
，将AR子任务T
ti
(ti∈{1，2，...5})在配置F上重复运行n次后，所收集到的“特征
‑
时延”数据集被表示为D＝{D1，D2，...，D
n
}。6.根据权利要求4所述的边端协同环境下基于启发式算法的增强现实任务卸载方法，其特征在于：所述Step3.2包括如下步骤：Step3.2.1：定义所涉及到的与BN相关的变量，并给出BN构建过程中的约束条件；(1)定义BN的结构为G
BN
(V，E，θ)，其中，V表示BN中的节点，且其包含了边缘服务器的特征及时延节点，即：V＝F∪d
exe
；而E表示BN中的有向边集合，其中节点V
vi
和V
vj
之间的有向边被表示为e(V
vi
，V
vj
)，因此E＝{e(V
vi
，V
vj
)|V
vi
，V
vj
∈V，vi≠vj}；θ表示BN的参数，它包含了BN中所有节点的条件概率表；
(2)定义节点V
vi
的父节点集合为Pa(V
vi
)，且其共有|Pa(V
vi
)|中组合形式；用P(V
vi
＝v
vij
|Pa(V
vi
)＝k)表示当节点的取值为V
vi
＝v
vij
，且其父节点为第k(k∈{1，2，...，|Pa(V
vi
)|})种组合时的概率；用θ
ijk
来表示概率值P(V
vi
＝v
vij
|Pa(V
vi
)＝k)，而θ
ijk
是BN参数θ的其中一种取值，即：种取值，即：给出以下三个约束条件来优化BN结构；约束条件1：初始结构：分别创建涉及BN中有向边之间关系的白、黑名单，前者记录BN中一定会包含的边，后者则记录相互独立的特征节点；根据BN的白、黑名单，确定其初始结构；约束条件2：参数计算：参数计算是为了计算θ
ijk
的值，当节点V
vi
没有父节点时，则Pa(V
vi
)＝1，θ
ijk
的值由P(V
vi
＝v
vij
)的先验概率决定；否则，当节点V
vi
的父节点是第k种组合时，则θ
ijk
的值由条件概率计算而得，即θ
ijk
＝P(V
vi
＝v
vij
|Pa(V
vi
)＝k)，同时约束条件3：结构构建：边缘服务器的底层环境特征对AR子任务的执行延迟有影响，但执行延迟不能反过来影响相应的特征；这种关系在BN中表现为从特征节点F
fi
到延迟节点d
exe
的一条有向边e(F
fi
，d
exe
)，且其方向不能翻转，此外，BN中所有的有向边不允许形成环；Step3.2.2：BN的参数计算与结构构建；假设所收集到的|D|条“特征
‑
时延”数据都满足独立同分布的条件，那么首先定义一个节点V
vi
的特征函数如公式(1)所示，并用m
ijk
表示V
vi
＝v
vij
且Pa(V
vi
＝v
vij
)＝k时的数据实例数量；根据公式(1)的定义，m
ijk
的计算方式为：因此，根据最大似然估计方法，对于节点V
vi
的不同取值θ
ijk
来说，其计算方式如公式(2)所示；其中，为满足条件Pa(V
vi
)＝k时的数据条目总数；根据公式(2)计算BN中每一个节点的条件概率后，所有的条件概率表构成BN的参数θ，即：接下来，根据BN的参数θ以及当前的结构G
BN
(V，E)，选用贝叶斯信息准则BIC来计算当给定的“特征
‑
时延”数据集为D时，BN的结构与参数的拟合程度；计算公式如公式(3)所示；其中，d＝|V
vi
|*(|Pa(V
vi
)|
‑
1)为BN中独立参数的个数；因此，看作对BN结构的复杂程度的一个罚项，当BN中独立节点的个数越多时，则该结构所对应的BIC评分值则越
小，证明该BN的复杂度越低；特别地，当BN中所有节点都独立时，该BN即为一个朴素贝叶斯网；当给定节点V
vi
及其父节点Pa(V
vi
)时，这一对父子节点所对应的BIC评分的计算方式如公式(4)所示；根据公式(3)和(4)推倒出公式(5)，其表示整个BN结构的BIC评分由多个子结构的BIC评分相加而得；最后，采用爬山法来搜索...

【专利技术属性】
技术研发人员：郝佳，甘健侯，周菊香，王俊，朱璐瑜，
申请(专利权)人：云南师范大学，
类型：发明
国别省市：