一种移动边缘计算中基于负载均衡的任务迁移方法技术

本发明专利技术属于移动通信技术领域，具体涉及一种移动边缘计算中基于负载均衡的任务迁移方法；该方法包括：构建多用户多节点的移动边缘计算系统模型；基于移动边缘计算系统模型构建通信模型、任务计算模型、用户QoS模型和负载均衡模型；构建最大化最小用户QoS的优化问题；采用多智能体深度强化学习算法求解最大化最小用户QoS的优化问题，得到任务的卸载决策、迁移决策和功率分配决策；系统根据任务的卸载决策、迁移决策和功率分配决策进行任务迁移；本发明专利技术能有效降低任务执行时延、任务失败率和迁移率，并能够保证节点间负载分布均衡。并能够保证节点间负载分布均衡。并能够保证节点间负载分布均衡。

【技术实现步骤摘要】
一种移动边缘计算中基于负载均衡的任务迁移方法


[0001]本专利技术属于移动通信
，具体涉及一种移动边缘计算中基于负载均衡的任务迁移方法。

技术介绍

[0002]随着移动通信技术和物联网产业的不断发展，以虚拟现实、增强现实、自动驾驶、远程医疗为代表的一系列新型业务产生，给人们的生活带来了全新的体验。这类业务往往具有较大的计算需求和较高的时延敏感度，给能量、计算资源有限的移动终端设备带来了极大挑战。移动边缘计算(Mobile Edge Computing,MEC)将原本云计算的计算资源和存储资源下沉到更靠近用户一侧的边缘设备上，能够为用户提供低时延高可靠性的服务，提升用户服务质量(Quality of Service,QoS)。
[0003]MEC环境中用户移动性是影响用户QoS的重要因素，用户移动过程中，信道状态会不断变化，可能会影响原有卸载方案性能。通过跟随用户移动进行任务迁移的方式，可以在一定程度上保证用户QoS和服务连续性。现有的在MEC环境中基于用户移动性的任务迁移研究有两种：一是带有能量收集装置的MEC系统中的任务迁移、资源分配问题的研究，例如建立以最小化长期服务成本为目标的优化问题，采用李雅普诺夫优化先解耦，再借助半正定规划求解的方法。二是车辆边缘计算环境中任务卸载和迁移问题的研究，例如考虑车联网中任务卸载和任务迁移时可能产生的相互干扰，建模基于车辆卸载决策的博弈机制以最小化卸载开销的方法。但是以上方案均未考虑移动性可能带来的负载分布不均的问题，且每个时隙都需要求解子问题，算法复杂度较高。<br/>[0004]近年来，随着强化学习的兴起，为求解这类复杂优化问题提供了新思路。通过将深度强化学习应用到MEC领域中，可以有效解决MEC中任务迁移决策问题。例如针对超密集边缘计算网络中的任务迁移和资源分配问题，提出了一种基于注意力机制的双深度Q网络(Double Deep Q Network,DDQN)算法来最小化用户任务的长期时延和能耗。针对基于区块链的超密集边缘计算环境，提出了一种基于Actor
‑
Critic架构的深度强化学习算法生成任务迁移决策。以上研究都是基于单智能体强化学习算法进行求解，只适用于控制器集中控制或者单个用户决策的场景。综上所述，目前已有大量研究工作围绕移动性场景下用户任务迁移展开，但是少有研究关注用户移动性带来负载分布不均的问题。此外，在多用户多基站的分布式场景下，采用集中式控制需要不断收集用户位置变化信息，这会产生较大的信令收集成本。

技术实现思路

[0005]针对现有技术存在的不足，本专利技术提出了一种移动边缘计算中基于负载均衡的任务迁移方法，该方法包括：
[0006]S1：构建多用户多节点的移动边缘计算系统模型；
[0007]S2：基于移动边缘计算系统模型构建通信模型、任务计算模型、用户QoS模型和负
载均衡模型；
[0008]S3：根据通信模型、任务计算模型、用户QoS模型和负载均衡模型构建最大化最小用户QoS的优化问题；
[0009]S4：采用多智能体深度强化学习算法求解最大化最小用户QoS的优化问题，得到任务的卸载决策、迁移决策和功率分配决策；系统根据任务的卸载决策、迁移决策和功率分配决策进行任务迁移。
[0010]优选的，多用户多节点的移动边缘计算系统模型具体包括：M个基站和U个用户，每个基站均配备有一个服务器，服务器集合表示为用户集合表示为用户任务随机到达，任务表示为其中表示t时隙用户u的任务数据大小，表示每bit任务所需CPU计算周期数，表示任务最大容忍时延；用户根据自身情况选择将任务卸载到基站上的服务器或本地执行，定义卸载决策变量表示任务卸载比例；定义服务器关联变量用于决定任务卸载到哪一个服务器。
[0011]优选的，用户QoS模型包括：计算任务的迁移时延和单位时间迁移成本；根据任务的迁移时延和单位时间迁移成本计算任务的迁移成本；根据任务本地计算时延、边缘计算时延和迁移时延计算任务的总执行时延，根据任务的总执行时延和任务最大容忍时延计算用户QoS增益。
[0012]进一步的，计算用户QoS增益的公式为：
[0013][0014]其中，表示t时隙用户u的QoS增益，表示t时隙用户u的任务总执行时延，表示t时隙用户u的任务最大容忍时延。
[0015]优选的，负载均衡模型包括：定义服务器的负载和服务器的负载偏差系数；服务器的负载表示为：
[0016][0017]其中，表示t时隙服务器m的负载，表示服务器m的最大计算资源量，表示用户集合，表示t时隙用户u的服务器关联变量，表示任务的卸载决策变量，表示任务数据大小，表示每bit任务所需CPU计算周期数，表示计算资源权重，表示存储容量权重，表示服务器m的最大存储容量，是一个布尔变量，当Ω为真时，反之，
[0018]服务器的负载偏差系数表示为：
[0019][0020]其中，表示t时隙服务器m的负载偏差系数，表示t时隙的服务器平均计算负载。
[0021]优选的，最大化最小用户QoS的优化问题表示为：
[0022][0023]s.t.C1:
[0024]C2:
[0025]C3:
[0026]C4:
[0027]C5:
[0028]C6:
[0029]其中，T表示系统时间周期，表示t时隙用户u的QoS增益，表示t时隙用户u的服务器关联变量，表示服务器集合，表示系统时隙集合，表示用户集合，表示任务的卸载决策变量，表示t时隙用户u的能耗，表示用户平均能量预算，表示t时隙服务器m的负载偏差系数，ζ表示负载分布差值，表示t时隙用户的迁移成本，表示平均迁移成本预算，表示t时隙用户u的发射功率，表示用户u的最大发射功率。
[0030]优选的，求解最大化最小用户QoS的优化问题的过程包括：
[0031]引入辅助变量将最大化最小用户QoS的优化问题解耦为最大化问题，根据李雅普诺夫优化理论将最大化问题中的长期约束解耦，得到重写的优化问题；
[0032]将重写的优化问题抽象为去中心化部分可观测马尔可夫决策过程，由用户充当智能体，并构建观测空间、动作空间和奖励函数；每个智能体均具有一个用户策略网络和两个用户价值网络，每个基站有一个节点价值网络；
[0033]根据奖励函数计算用户价值网络和节点价值网络的软Q值；由用户策略网络生成相应的动作并根据动作更新奖励函数，进入下一状态；根据节点价值网络和两个用户价值网络中最小软Q值的用户价值网络评估动作；
[0034]根据当前状态、下一状态、动作和奖励值生成经验信息；采样多条经验信息训练用户策略网络、用户价值网络和节点价值网络，更新网络参数，得到训练好的用户策略网络、用户价值网络和节点价值网络；根据用户策略网络训练结果得到任务的卸载决策、迁移决策和功率分配决策。
[0035]进一步的，观测空间表示为：
[0036][0037]其中，表示t时隙用户u的状态，表示剩余迁移成本预算，表示用户u的设备本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种移动边缘计算中基于负载均衡的任务迁移方法，其特征在于，包括：S1：构建多用户多节点的移动边缘计算系统模型；S2：基于移动边缘计算系统模型构建通信模型、任务计算模型、用户QoS模型和负载均衡模型；S3：根据通信模型、任务计算模型、用户QoS模型和负载均衡模型构建最大化最小用户QoS的优化问题；S4：采用多智能体深度强化学习算法求解最大化最小用户QoS的优化问题，得到任务的卸载决策、迁移决策和功率分配决策；系统根据任务的卸载决策、迁移决策和功率分配决策进行任务迁移。2.根据权利要求1所述的一种移动边缘计算中基于负载均衡的任务迁移方法，其特征在于，所述多用户多节点的移动边缘计算系统模型具体包括：M个基站和U个用户，每个基站均配备有一个服务器，服务器集合表示为用户集合表示为用户任务随机到达，任务表示为其中表示t时隙用户u的任务数据大小，表示每bit任务所需CPU计算周期数，表示任务最大容忍时延；用户根据自身情况选择将任务卸载到基站上的服务器或本地执行，定义卸载决策变量表示任务卸载比例；定义服务器关联变量用于决定任务卸载到哪一个服务器。3.根据权利要求1所述的一种移动边缘计算中基于负载均衡的任务迁移方法，其特征在于，所述用户QoS模型包括：计算任务的迁移时延和单位时间迁移成本；根据任务的迁移时延和单位时间迁移成本计算任务的迁移成本；根据任务本地计算时延、边缘计算时延和迁移时延计算任务的总执行时延，根据任务的总执行时延和任务最大容忍时延计算用户QoS增益。4.根据权利要求3所述的一种移动边缘计算中基于负载均衡的任务迁移方法，其特征在于，计算用户QoS增益的公式为：其中，表示t时隙用户u的QoS增益，表示t时隙用户u的任务总执行时延，表示t时隙用户u的任务最大容忍时延。5.根据权利要求1所述的一种移动边缘计算中基于负载均衡的任务迁移方法，其特征在于，所述负载均衡模型包括：定义服务器的负载和服务器的负载偏差系数；服务器的负载表示为：其中，表示t时隙服务器m的负载，表示服务器m的最大计算资源量，表示用户集合，表示t时隙用户u的服务器关联变量，表示任务的卸载决策变量，表示任务数据大小，表示每bit任务所需CPU计算周期数，表示计算资源权重，表示存储容量权重，
表示服务器m的最大存储容量，是一个布尔变量，当Ω为真时，反之，服务器的负载偏差系数表示为：其中，表示t时隙服务器m的负载偏差系数，L
t
表示t时隙的服务器平均计算负载。6.根据权利要求1所述的一种移动边缘计算中基于负载均衡的任务迁移方法，其特征在于，所述最大化最小用户QoS的优化问题表示为：在于，所述最大化最小用户QoS的优化问题表示为：在于，所述最大化最小用户QoS的优化问题表示为：在于，所述最大化最小用户QoS的优化问题表示为：在于，所述...

【专利技术属性】
技术研发人员：鲜永菊，韩瑞寅，谭文光，汪洲，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：