一种面向移动边缘计算的分布式服务迁移方法技术

一种面向移动边缘计算的分布式服务迁移方法，属于物联网领域。本方法研究了移动边缘计算MEC中移动管理问题。当设备处在移动状态时，需要在多个边缘服务器之间动态迁移计算任务来保持服务的连续性。由于移动的不确定性，频繁的迁移会增加成本和延迟，不迁移会导致服务中断。因而，在多代理深度强化学习MADRL中，引入了一个自适应权重的深度确定性策略梯度AWDDPG算法来优化多用户任务迁移的成本和延迟，使用集中式训练分布式执行的方法解决任务迁移时的高维度问题。大量实验表明，我们提出的算法与相关算法相比大大降低了服务延迟和迁移成本。迁移成本。迁移成本。

【技术实现步骤摘要】
一种面向移动边缘计算的分布式服务迁移方法


[0001]本专利技术属于物联网领域，具体涉及一种面向移动边缘计算的分布式服务迁移方法。

技术介绍

[0002]近几年随着大数据、人工智能、物联网(IoT)、MEC等技术的不断发展，移动设备在人们的生活中应用越来越广泛，如VR、AR、智能家居等。这些设备通常都具有计算密集和延迟敏感的任务，但是移动设备的资源有限很难满足上述应用需求。传统的解决方法是将计算任务卸载到资源充足的云中心处理，但是长距离的传输会增加计算延迟。MEC是在网络边缘部署服务器，边缘服务器在地理上更接近用户，可以有效的降低服务的延迟。资源受限的移动设备可以将计算任务卸载到MEC服务器上执行来提高服务质量(QoS)。
[0003]随着产业界和学术界对MEC的不断研究，大量的卸载模型以及各种分布式环境下的仿真平台被实现，然而MEC仍面临着许多挑战。其中一个比较关键的技术就是动态服务迁移，当移动用户在不同的地理位置移动时，可能需要迁移服务来跟踪用户以确保服务的连续性，何时迁移服务，迁移到哪是目前需要解决的问题。当用户移动时，不迁移服务可能会导致服务中断，频繁迁移服务可能会增加迁移成本。由于用户的移动性，以及迁移成本和传输延迟之间的复杂权衡，做出最佳决策是一个挑战。
[0004]目前关于MEC中分布式任务迁移的工作并不多。一些传统的方法通过预测用户的位置来迁移任务，但是在实际应用场景下用户的移动性很难预测。还有将深度Q学习(DQN)应用到任务迁移中，DQN虽然能够处理复杂的状态空间，但是集中处理的方式不能满足多用户边缘计算的任务迁移需求，随着用户数量的增加系统的状态空间和行为空间的维数会呈指数增长。并且在多用户场景下将所有用户的状态联合为全局状态，导致多用户环境不稳定，忽略了用户之间的影响。采用分布式深度强化学习可以有效的解决上述问题，但是在分布式环境中每个agent单独做出决策的同时也不能忽略与环境中其他agent之间的交互。将所有移动用户的本地状态联合为全局状态进行训练，可以解决agent与环境交互问题，但在某些应用场景下，如5G的车路协同车联网应用场景，用户之间交互频繁，联合的全局状态不仅会导致多用户环境的不稳定，而且频繁交互还会增加通信成本。因此，设计一个有效的基于分布式深度强化学习的迁移策略来平衡迁移成本和延迟非常有挑战。

技术实现思路

[0005]本专利技术的目的是为了解决基于MEC的多用户任务迁移问题，提高移动用户之间的合作，本专利技术提出了一个基于自适应权重的深度确定性策略梯度(AWDDPG)算法。在考虑迁移成本、QoS、频谱资源分配的情况下，将多用户任务迁移模型看作一个分散的部分可观察的马尔可夫决策过程(Dec
‑
POMDP)。在迁移成本约的束下，将多用户任务迁移问题描述为一个最小化优化问题。提出了一个AWDDPG来解决这个优化问题，通过自适应采样权重提高采样效率，增加算法的收敛速度和稳定性。最后采用集中式训练分布式执行的方式来促进用
户之间的协作通信。对于具有时延敏感和计算密集型应用的高动态场景，基于AWDDPG的方案可以快速做出迁移决策。真实的应用场景和仿真实验表明，我们提出的算法可以快速达到稳定收敛，并且在迁移成本和任务平均完成时间方面表现较优，具有一定的实用价值。
[0006]本专利技术的面向移动边缘计算的分布式服务迁移方法，主要包括如下关键步骤：
[0007]第1、系统模型的构建：
[0008]第1.1、建立回程延迟模型；
[0009]第1.2、建立通信延迟模型；
[0010]第1.3、建立计算延迟模型；
[0011]第1.4、建立迁移成本模型；
[0012]第2、自适应权重经验回放机制：
[0013]第2.1、样本复杂度；
[0014]第2.2、样本回报值重要性模型；
[0015]第2.3、样本使用次数模型；
[0016]第3、基于AWDDPG分布式任务迁移方法：
[0017]第3.1、基于AWDDPG的解；
[0018]第3.2、AWDDPG架构。
[0019]进一步的，步骤第1.1中建立回程延迟模型，即如果移动用户的本地MEC服务器的计算负载较高时可以将计算任务通过回程链路传输到附近计算任务较少的MEC服务器上处理。MEC服务器之间的传输延迟可以表示为b
n
/B
m
，其中b
n
表示移动用户n的输入数据大小，B
m
表示MEC服务器的输出链路带宽。因此回程延迟可以表示为
[0020][0021]其中，λ是一个正系数，d(m1,m2)表示边缘服务器m1与m2之间的跳数。
[0022]步骤第1.2中建立通信延迟模型的方法如下，无线通信显著影响任务迁移的效率，通过有效的频谱资源管理可以显著的提高无线通信的质量。为了最小化传输延迟，需要为每个移动用户提供适当数量的频谱资源。S
m
表示MEC服务器m可用的频谱资源，t时刻连接到MEC服务器m的所有移动用户共享频谱资源S
m
。我们用spe
n,m
(t)表示t时刻，MEC服务器m分配给移动设备n的频谱比例。本专利技术不考虑返回结果的传输延迟，因为返回的数据比较小可以忽略不计。根据香农定理，移动设备n与边缘服务器m之间的数据传输速率可以表示为：
[0023][0024]其中，P
n
是移动设备n的传输功率，G
m,n
移动设备n和MEC服务器m之间的信道增益，是白噪声功率。因此输入数据的传输延迟可以表示为：
[0025][0026]步骤第1.3中建立计算延迟模型的方法如下：在每个服务器上有多个移动用户共
享计算资源，帮助移动设备处理卸载的任务。F
m
表示MEC服务器m的计算能力，φ
n
(t)表示在t时刻Task
n
所需的CPU周期。因此，如果Task
n
在MEC服务器m上完成所需时间可以表示为：
[0027][0028]其中，表示在服务器m上执行的计算任务数量。从公式(4)可以看出，边缘服务器上的执行延迟随着边缘服务器上的执行任务的数量成正比例增长，因此当我们迁移服务时还需要考虑目标服务器的计算资源。
[0029]步骤第1.4中建立迁移成本模型的方法如下：为了满足服务的连续性，我们需要在多个服务器之间迁移服务。跨服务器迁移需要额外的迁移成本，我们假设移动设备n将全部卸载的任务从m1迁移到m2。用表示移动设备n在t时刻将Task
n
从m1迁移到m2的成本。
[0030][0031]进一步的，步骤第2.1中样本复杂度，DDPG结合了DQN和PG的优势，因此DDPG也采用了经验回放机制。使用经验回放机制既能满足样本独立分布的假设又能快速收敛，但是DDPG在回放存储中对样本的采样是随机的，忽略了各个样本的不同重要性，这样会导致样本的采样效率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向移动边缘计算的分布式服务迁移方法，其特征在于该方法主要包括如下步骤：第1、系统模型的构建：第1.1、建立回程延迟模型；第1.2、建立通信延迟模型；第1.3、建立计算延迟模型；第1.4、建立迁移成本模型；第2、自适应权重经验回放机制：第2.1、样本复杂度；第2.2、样本回报值重要性模型；第2.3、样本使用次数模型；第3、基于AWDDPG分布式任务迁移方法：第3.1、基于AWDDPG的解；第3.2、AWDDPG架构。2.如权利要求1所述的面向移动边缘计算的分布式服务迁移方法，其特征在于，步骤第1.1中建立回程延迟模型，即如果移动用户的本地MEC服务器的计算负载较高时将计算任务通过回程链路传输到附近计算任务较少的MEC服务器上处理，MEC服务器之间的传输延迟表示为b
n
/B
m
，其中b
n
表示移动用户n的输入数据大小，B
m
表示MEC服务器的输出链路带宽，因此回程延迟表示为为其中，λ是一个正系数，d(m1,m2)表示边缘服务器m1与m2之间的跳数。3.如权力要求1所述的面向移动边缘计算的分布式服务迁移方法，其特征在于，步骤第1.2中建立通信延迟模型的方法如下，无线通信显著影响任务迁移的效率，通过有效的频谱资源管理提高无线通信的质量，为了最小化传输延迟，需要为每个移动用户提供适当数量的频谱资源，S
m
表示MEC服务器m可用的频谱资源，t时刻连接到MEC服务器m的所有移动用户共享频谱资源S
m
，用spe
n,m
(t)表示t时刻，MEC服务器m分配给移动设备n的频谱比例，不考虑返回结果的传输延迟，根据香农定理，移动设备n与边缘服务器m之间的数据传输速率表示为：其中，P
n
是移动设备n的传输功率，G
m,n
移动设备n和MEC服务器m之间的信道增益，是白噪声功率，因此输入数据的传输延迟表示为：4.如权力要求1所述的面向移动边缘计算的分布式服务迁移方法，其特征在于，步骤第
1.3中建立计算延迟模型的方法如下：在每个服务器上有多个移动用户共享计算资源，帮助移动设备处理卸载的任务，F
m
表示MEC服务器m的计算能力，φ
n
(t)表示在t时刻Task
n
所需的CPU周期，如果Task
n
在MEC服务器m上完成所需时间表示为：其中，表示在服务器m上执行的计算任务数量，从公式(4)看出，边缘服务器上的执行延迟随着边缘服务器上的执行任务的数量成正比例增长，因此迁移服务时还需要考虑目标服务器的计算资源。5.如权力要求1所述的面向移动边缘计算的分布式服务迁移方法，其特征在于，步骤第1.4中建立迁移成本模型的方法如下：为了满足服务的连续性，需要在多个服务器之间迁移服务，假设移动设备n将全部卸载的任务从m1迁移到m2，用表示移动设备n在t时刻将Task
n
从m1迁移到m2的成本，6.如权利要求1所述的面向移动边缘计算的分布式服务迁移方法，其特征在于，步骤第2.1中样本复杂度，DDPG结合了DQN和PG的优势，因此DDPG也采用了经验回放机制，因此，为回放存储中的每个状态样本分配优先级权重，样本i的复杂度表示为CF(s
i
)，其主要包括样本回报值的重要性函数RF(r
i
,DE
i
)以及关于样本的使用频率函数SUF(num
i
)；其中，为超参数，使用样本复杂度来计算样本的采样概率：其中，ψ∈[0,1]是指数随机因子，当ψ＝0时为均匀采样，ψ＝1为优先级采样，随机因子保证优先级采样和均匀采样之间保持平衡，避免过拟合现象产生，对回放存储中的样本直接采样会产生一个分布误差，因此使用重要性采样权重w
i
来修正这个偏差，并使用归一化操作来缩小TD误差，7.如权力要求1所述的面向移动边缘计算的分布式服务迁移方法，其特征在于，步骤第2.2中样本回报值重要性模型，样本回报值的重要性RF(r
i
,DE
i
)表示如下：RF(r
i
,DE
i
)＝|DE
i
|*RW(r
i
)+α
ꢀꢀꢀꢀꢀꢀ
(9)其中，DE
i
＝Q(s
i
,a
i
；θ
c
)
‑
(r
i
+μQ'(s
′
i
,a
′
i
；θ
c'
))表示TD误差，其中Q(s
i
,a

【专利技术属性】
技术研发人员：张捷，张德干，崔玉亚，张婷，李荭娜，赵洪祥，高清鑫，
申请(专利权)人：天津理工大学，
类型：发明
国别省市：