一种边缘网络计算卸载和任务迁移方法及装置制造方法及图纸

本发明专利技术实施例提供了一种边缘网络计算卸载和任务迁移方法及装置，其中，方法包括：采用基于拉格朗日的任务迁移算法先确定出初始卸载策略下初始最佳迁移策略，然后再重新按照基于强化学习的任务任务卸载算法，确定当前卸载策略，使用当前卸载策略，更新得到当前最佳迁移策略，直至当前卸载策略和当前最佳迁移策略满足边缘网络最优策略条件，得到边缘网络最优卸载策略以及边缘网络最优迁移策略。这样通过MECS间计算任务的迁移，实现MECS之间的协作，均衡MECS间的任务负载，以提升边缘网络资源利用率。

【技术实现步骤摘要】
一种边缘网络计算卸载和任务迁移方法及装置
本专利技术涉及本专利技术涉及通信
，特别是涉及一种边缘网络计算卸载和任务迁移方法及装置。
技术介绍
目前随着第五代移动通信系统(5thGenerationMobileNetworks，5G)的商业推广使得物联网设备成倍增加，推动了物与物通信的快速发展。然而由于物联网设备广泛应用，使得物联网设备中移动通信流量大幅度增加。为了满足物联网设备中移动通信流量大幅度增加的需求，目前移动边缘计算(MobileEdgeComputing，简称MEC)作为一种新的计算模式。其中，移动边缘计算节点可以包括：靠近用户终端(userequipment，简称UE)的网络边缘的一些MEC服务器，或利用网络边缘的分布式资源形成MEC平台，这样MEC逐渐成为一种新模式。在MEC模式下，UE可以将全部或部分计算任务卸载到MEC平台上。基于此，使得如何均衡MECS间的任务负载，提升边缘网络资源利用率成为亟待解决的问题。
技术实现思路
本专利技术实施例的目的在于提供一种边缘网络计算卸载和任务迁移方本文档来自技高网...

【技术保护点】
1.一种边缘网络计算卸载和任务迁移方法，其特征在于，所述方法包括：/n步骤A，获取用户终端UE的运转状态、边缘节点服务器MECS的运转状态以及信道情况；/n步骤B，根据所述UE的运转状态、所述MECS的运转状态以及所述信道情况，确定边缘网络的能耗及边缘网络的时延；其中，所述能耗包括：UE执行任务能耗、任务传输能耗及所述MECS执行任务能耗，所述时延包括：UE执行任务时延、任务传输时延、所述MECS执行任务时延；/n步骤C，基于所述能耗及所述时延，使用初始卸载策略，采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略；其中，所述初始最佳迁移策略是采用基于拉格朗日的任务迁移算法，通...

【技术特征摘要】
1.一种边缘网络计算卸载和任务迁移方法，其特征在于，所述方法包括：
步骤A，获取用户终端UE的运转状态、边缘节点服务器MECS的运转状态以及信道情况；
步骤B，根据所述UE的运转状态、所述MECS的运转状态以及所述信道情况，确定边缘网络的能耗及边缘网络的时延；其中，所述能耗包括：UE执行任务能耗、任务传输能耗及所述MECS执行任务能耗，所述时延包括：UE执行任务时延、任务传输时延、所述MECS执行任务时延；
步骤C，基于所述能耗及所述时延，使用初始卸载策略，采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略；其中，所述初始最佳迁移策略是采用基于拉格朗日的任务迁移算法，通过MECS分类算法确定的MECS分类以及各类MECS迁移任务后的任务量，得到所述各类MECS中源MECS所有任务的迁移策略，所述源MECS为需要迁移出任务的MECS；
步骤D，采用基于强化学习的任务任务卸载算法，确定当前卸载策略；
步骤E，基于所述能耗及所述时延，使用当前卸载策略，采用基于拉格朗日的任务迁移算法，计算得到当前卸载策略下的当前最佳迁移策略；
步骤F，判断当前卸载策略和当前最佳迁移策略是否满足边缘网络最优策略条件，如果不满足边缘网络最优策略条件，则返回步骤D继续执行，直至当前卸载策略和当前最佳迁移策略满足边缘网络最优策略条件，得到所述边缘网络最优卸载策略以及所述边缘网络最优迁移策略。


2.如权利要求1所述的方法，其特征在于，所述步骤B，根据所述UE的运转状态、所述MECS的运转状态以及所述信道情况，确定边缘网络的能耗及边缘网络的时延，包括：
根据所述UE的运转状态、所述MECS的运转状态以及所述信道情况，建立能耗与时延的最小化问题对应的模型；
所述步骤C，基于所述能耗及所述时延，使用初始卸载策略，采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略，包括：
将所述能耗与时延的最小化问题对应的模型转化为Lyapunov边界最小化问题；
使用初始卸载策略，采用基于拉格朗日的任务迁移算法，通过最小化Lyapunov边界以确定初始卸载策略下的初始最佳迁移策略；
所述步骤F，判断当前卸载策略和当前最佳迁移策略是否满足边缘网络最优策略条件，如果不满足边缘网络最优策略条件，则返回步骤D继续执行，直至当前卸载策略和当前最佳迁移策略满足边缘网络最优策略条件，得到所述边缘网络最优卸载策略以及所述边缘网络最优迁移策略，包括：
通过强化学习求解Lyapunov边界最小化问题，得到边缘网络最优卸载策略以及所述边缘网络最优迁移策略，其中，所述强化学习包括：所述强化学习的有限状态集合中的状态、所述强化学习的有限状态集合中动作集合中的动作以及奖励；所述状态为任务卸载策略发生变化的任务的状态，所述动作为在当前UE的任务变化为下一UE的任务时，将当前UE的任务对应的任务卸载策略交换为下一UE的任务对应的任务卸载策略，所述奖励为状态动作对使Lyapunov漂移加惩罚边界产生的变化。


3.如权利要求1或2所述的方法，其特征在于，所述步骤C，基于所述能耗及所述时延，使用初始卸载策略，采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略，包括：
步骤C1，获取强化学习的预设学习率α、初始化每一状态动作对(s,a1)对应的Q(s,a)值、初始化奖励R，初始化当前迭代次数p、总迭代次数Ep、初始化多个任务卸载策略、预设的有限动作集合A及随机初始化的状态；其中，s为所述强化学习的有限状态集合中的当前状态，所述当前状态为任务卸载策略发生变化的任务的状态，所述a1为所述有限动作集合A中的当前动作，所述当前动作为在当前UE的任务变化为下一UE的任务时，将当前UE的任务对应的任务卸载策略交换为下一UE的任务对应的任务卸载策略，为预设折扣因子，s'为下一状态，a'为下一动作，所述随机初始化的状态为从多个任务卸载策略中，随机选择一个任务卸载策略变化作为状态；
步骤C2，获取预设卸载策略，作为初始卸载策略；其中所述预设卸载策略包括：假定任务被卸载到用户设备端上和/或假定任务被卸载到边缘端上；
步骤C3，使用初始卸载策略，基于所述能耗及所述时延，采用基于拉格朗日的任务迁移算法，确定初始最佳迁移策略；
所述步骤D，采用基于强化学习的任务任务卸载算法，确定当前卸载策略，包括：
步骤D1，利用初始最佳迁移策略，计算强化学习的Lyapunov漂移加惩罚边界LDPLall，作为初始边界；
步骤D2，根据从有限动作集合A中随机选择的一个动作a1，确定当前卸载策略；
在所述步骤E，基于所述能耗及所述时延，使用当前卸载策略，采用基于拉格朗日的任务迁移算法，计算得到当前卸载策略下的当前最佳迁移策略之后，所述步骤F，判断当前卸载策略和当前最佳迁移策略是否满足边缘网络最优策略条件，如果不满足边缘网络最优策略条件之前，所述方法还包括：
步骤E1，计算当前边界LDPLall，所述当前边界LDPLall为所有UE的任务的当前Lyapunov漂移加惩罚边界，所述当前边界LDPLall相较于所述初始边界发生变化；
步骤E2，根据所述当前边界LDPLall的变化，计算奖励R，作为更新后的当前奖励R；所述当前奖励R为状态动作对使Lyapunov漂移加惩罚边界产生的变化；
步骤E3，根据更新后的当前奖励R及所述预设学习率α，计算Q(s,a1)值，作为更新后的当前Q(s,a1)值；
步骤E4，根据状态转移策略P，选择所述有限状态集合的一个状态，作为更新后的当前状态；其中，所述状态转移策略P是以预定概率χ随机选择有限状态集合中的状态作为下一状态，或者，以概率1-χ选择边界贡献值最大的任务对应的任务卸载策略OF变化作为下一状态；
所述步骤F，判断当前卸载策略和当前最佳迁移策略是否满足边缘网络最优策略条件，如果不满足边缘网络最优策略条件，则返回步骤D继续执行，直至当前卸载策略和当前最佳迁移策略满足边缘网络最优策略条件，得到所述边缘网络最优卸载策略以及所述边缘网络最优迁移策略，包括：
步骤F1，判定更新后的当前Q(s,a1)值没有满足迭代终止条件，并且当前迭代次数p没有达到所述总迭代次数Ep，则返回步骤D，按照所述更新后的当前状态继续执行，直至更新后的当前Q(s,a1)值满足迭代终止条件，得到任一任务Rm,i的最优卸载策略和最优迁移策略ym,i,1,ym,i,2,……，ym,i,N，其中，Rm,i为第i个边缘节点连接的第m个UE的任务，为与第i个边缘节点连接的第m个UE的任务是否卸载在边缘端，为与第i个边缘节点连接的第m个UE的任务是否卸载在用户设备端，只有一个为1，其余为0；当时，表示与第i个边缘节点连接的第m个UE的任务卸载在边缘端，当时，ym,i,1,ym,i,2,……，ym,i,N中有一个为1，其余为0，当时，表示与第i个边缘节点连接的第m个UE的任务卸载在用户设备端，i、m均为序号，N为边缘节点的总数，ym,i,1为与第i个边缘节点连接的第m个UE的任务是否迁移到第1个边缘节点上的任务迁移策略，ym,i,2为与第i个边缘节点连接的第m个UE的任务是否迁移到第2个边缘节点上的任务迁移策略，ym,i,N为与第i个边缘节点连接的第m个UE的任务是否迁移到第N个边缘节点上的任务迁移策略。


4.如权利要求1或2所述的方法，其特征在于，所述步骤C，基于所述能耗及所述时延，使用初始卸载策略，采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略，包括：
获取所有MECS中每个MECS执行所有任务时每个任务的预卸载边际迁移成本MMC，其中，每个任务的MMC包括：针对每个MECS，该MECS执行所有任务中的最大MMC以及该MECS执行所有任务中的最小MMC，所述MMC是通过所述能耗及所述时延确定的；
针对每个MECS，该MECS的最小MMC和传输平均延时成本之和小于最大MMC，则确定MECS需要迁移任务；
采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略。


5.如权利要求4所述的方法，其特征在于，所述采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略，包括：
在每次迭代中，确定用于衡量所有MECS的最小MMC与最大MMC的一个中值因子a；
根据所述MECS分类算法，在判定第i个MMC与中值因子a之间的关系满足第一对应关系时，确定所有目标MECS，并计算出所有流入的任务量Tin；其中，所有流入的任务量Tin为迁移入至所有目标MECS中所有迁移任务的任务量的总和，所述目标MECS为接收迁移任务的MECS；
根据所述MECS分类算法，在判定第i个MMC与中值因子a之间的关系满足第二对应关系时，确定所有中性MECS，其中，所述中性MECS为不迁移任务和不接受迁移任务的MECS；
根据所述MECS分类算法，在判定第i个MMC与中值因子a之间的关系满足第三对应关系时，确定所有源MECS，并计算所有流出的任务量Tout；其中，所有流出的任务量Tout为迁...

【专利技术属性】
技术研发人员：吴利杰，徐思雅，舒新建，杨燚，郭少勇，安致嫄，盛磊，王春迎，刘庆川，吴阳阳，廖博娴，
申请(专利权)人：国网河南省电力公司信息通信公司，北京邮电大学，国家电网有限公司，
类型：发明
国别省市：河南;41