一种多接入边缘计算非独立性任务卸载方法技术

本发明专利技术涉及一种多接入边缘计算非独立性任务卸载方法，基于部署MEC服务器的单基站、以及随时间服从Bate分布接入MEC服务器的各设备UE，首先确定卸载时刻执行卸载策略对设备UE上子任务进行卸载计算所对应的卸载规则；然后基于深度强化学习，获得各卸载时刻下不同卸载策略与相应环境状态组合分别对应的Q值；最后结合耗能目标函数，按依次各卸载时刻下单个Q值之间的组合，获得最优组合，实现彼此相对独立各设备UE上的单个主任务的卸载计算；相较其他MEC任务卸载，考虑了任务非独立的特性以及任务分时接入，并且采用了基于多智能体强化学习算法来协作选择合适的前导码，采用该学习算法可以更好的适应环境变化提高收敛速度。可以更好的适应环境变化提高收敛速度。可以更好的适应环境变化提高收敛速度。

【技术实现步骤摘要】
一种多接入边缘计算非独立性任务卸载方法


[0001]本专利技术涉及一种多接入边缘计算非独立性任务卸载方法，属于云任务卸载


技术介绍

[0002]随着各行各业对5G技术的不断推广与应用，用户对于网络服务质量（Quality of Service, QoS）的追求也在精益求精，大带宽、高速率与低时延等网络性能要求也不断的提高，同时互联网技术也随之不断的革新，其中作为继云计算之后的下一个科技竞争的技术之一的多接入边缘计算（MEC）也不断被重视。MEC技术主要是将用户任务下沉至边缘服务器进行计算，从而大大减轻核心网的计算压力，同时使网络边缘服务器得以充分利用，提高带宽利用率和降低服务器响应时延。
[0003]据不完全统计，中国三大运营商已在超过40个城市已开展了基于多接入边缘计算的5G商业应用试点项目，覆盖了多个行业和应用场景，包括智慧工厂、矿山、能源等。目前，移动互联网与物联网的快速发展以及大数据时代的到来，海量用户业务任务量的快速递增，同时5G技术在智能设备的推广与应用，海量实时数据的高速传输，使得核心网的计算压力会越来越大，大带宽、低时延与高速率的性能要求不断地提高，如何能够更好地解决这些问题，使得云计算相关技术显得尤为重要，MEC作为5G技术的核心技术之一，其是将用户数据和任务在靠近数据源头的网络边缘侧进行计算和执行的一种服务模型，这种服务模型能够将用户的任务数据无需传输至核心网络进行处理，只需要上传至附近的边缘MEC服务站点处理即可，缩短了传输时间的同时也降低核心网的计算压力，提高网络带宽利用率，尤其是对于一些实时性要求很高的任务，MEC技术能够高效地利用网络现有资源达到高服务质量。因此用户的任务卸载率、总时延和总耗能是评价一个MEC系统的重要指标。

技术实现思路

[0004]本专利技术所要解决的技术问题是提供一种多接入边缘计算非独立性任务卸载方法，采用深度强化学习算法进行学习，得出任务是否卸载以及卸载量，同时确保系统成本的最优化。
[0005]本专利技术为了解决上述技术问题采用以下技术方案：本专利技术设计了一种多接入边缘计算非独立性任务卸载方法，基于部署MEC服务器的单基站、以及随时间服从Bate分布接入MEC服务器的各设备UE，按如下步骤，实现彼此相对独立各设备UE上的单个主任务的卸载计算；步骤A. 分别针对各设备UE，将设备UE上单个主任务随机拆分成具有顺序依赖的各个子任务，即获得各设备UE上的各个子任务，并按单个子资源满足设备UE上单个子任务执行的要求，针对MEC服务器上的资源进行等分，获得MEC服务器上的各个子资源，然后进入步骤B；步骤B. 基于主任务处理完成的设备UE不参与卸载策略，针对各设备UE上实时未
完成的各个子任务，确定卸载时刻执行卸载策略对设备UE上子任务进行卸载计算所对应的卸载规则，然后进入步骤C；步骤C. 基于深度强化学习构建以上一卸载时刻由MEC服务器剩余可服务子资源个数、参与卸载策略的设备UE个数、以及每个设备UE否存在正在执行子任务构成的环境状态为入参，卸载时刻所对应的卸载策略为结果的神经网络，结合各个设备UE根据卸载时刻环境状态应用贪婪策略做出的卸载策略，获得各卸载时刻下的不同卸载策略、以及相应环境状态，并获得各卸载时刻下执行各卸载策略分别对应环境状态变化的奖励，然后进入步骤D；步骤D. 根据各卸载时刻下的不同卸载策略、相应环境状态，以及执行各卸载策略分别对应环境状态变化的奖励，获得各卸载时刻下不同卸载策略与相应环境状态组合分别对应的优化Q值，然后进入步骤E；步骤E. 基于各卸载时刻下不同卸载策略与相应环境状态组合分别对应的优化Q值，结合耗能目标函数，按依次各卸载时刻下单个优化Q值之间的组合，获得最优组合，进而应用最优组合中各卸载时刻下的卸载策略完成各设备UE上单个主任务的卸载计算。
[0006]本专利技术所述一种多接入边缘计算非独立性任务卸载方法，采用以上技术方案与现有技术相比，具有以下技术效果：（1）本专利技术所设计多接入边缘计算非独立性任务卸载方法，基于部署MEC服务器的单基站、以及随时间服从Bate分布接入MEC服务器的各设备UE，首先确定卸载时刻执行卸载策略对设备UE上子任务进行卸载计算所对应的卸载规则；然后基于深度强化学习，获得各卸载时刻下不同卸载策略与相应环境状态组合分别对应的Q值；最后结合耗能目标函数，按依次各卸载时刻下单个Q值之间的组合，获得最优组合，实现彼此相对独立各设备UE上的单个主任务的卸载计算；方案设计与其他MEC任务卸载不同的是考虑了任务非独立的特性以及任务分时接入，并且采用了基于多智能体强化学习算法来协作选择合适的前导码，采用该学习算法可以更好的适应环境变化提高收敛速度。
附图说明
[0007]图1是设备UE任务初次接入MEC系统模型图；图2是设备UE任务非初次接入MEC系统模型图；图3是MEC系统中设备UE任务卸载策略模型图；图4是多智能体的神经网络结构图；图5是基于多智能体强化学习的模型图。
具体实施方式
[0008]下面结合说明书附图对本专利技术的具体实施方式作进一步详细的说明。
[0009]本专利技术所设计一种多接入边缘计算非独立性任务卸载方法，基于部署MEC服务器的单基站、以及随时间服从如下Bate分布接入MEC服务器的各设备UE。
[0010]执行如下步骤A至步骤E，实现彼此相对独立各设备UE上的单个主任务的卸载计算，其中、，表示各设备UE的编号，表示编号的设备UE上的主任务。
[0011]如图1所示，各设备UE在初次接入时，MEC系统会分配设备标识，任务设备在接受应答后，会询问当前系统资源状态，后续通过强化学习算法得出卸载策略，其中得出的卸载策略都会影响其他设备的任务卸载。
[0012]步骤A. 分别针对各设备UE，将设备UE上单个主任务随机拆分成具有顺序依赖的各个子任务，具体诸如单个主任务拆分成3
‑
5个子任务，即获得各设备UE上的各个子任务，并按单个子资源满足设备设备UE上单个子任务执行的要求，针对MEC服务器上的资源进行等分，获得MEC服务器上的各个子资源，然后进入步骤B。
[0013]如图2所示，当设备UE非初次接入参与卸载计算时，首先检查设备UE自身是否有子任务还处于运行中，若有，则不参与本次卸载时刻下的卸载动作，否则参与执行卸载动作，并根据MEC系统的资源状态，通过强化学习计算卸载策略，具体先按如下步骤B获得确定卸载时刻执行卸载策略对设备UE上子任务进行卸载计算所对应的卸载规则，然后继续执行后续步骤，实现卸载策略的获得，并且如图3所示，设备UE任务卸载量的任务模型，其分为全卸载、部分卸载、不卸载三种卸载策略，三种策略是通过多智能体强化学习算法计算得出的具体卸载动作。
[0014]步骤B. 基于主任务处理完成的设备UE不参与卸载策略，针对各设备UE上实时未完成的各个子任务，表示编号的设备UE上实时未完成的子任务数量，确定卸载时刻执行卸载策略对设备UE上子任务进行卸载计算所对应的卸载规则如下，表示第个卸载时刻，表示编号的设备UE对应卸载时刻本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多接入边缘计算非独立性任务卸载方法，其特征在于：基于部署MEC服务器的单基站、以及随时间服从Bate分布接入MEC服务器的各设备UE，按如下步骤，实现彼此相对独立各设备UE上的单个主任务的卸载计算；步骤A. 分别针对各设备UE，将设备UE上单个主任务随机拆分成具有顺序依赖的各个子任务，即获得各设备UE上的各个子任务，并按单个子资源满足设备UE上单个子任务执行的要求，针对MEC服务器上的资源进行等分，获得MEC服务器上的各个子资源，然后进入步骤B；步骤B. 基于主任务处理完成的设备UE不参与卸载策略，针对各设备UE上实时未完成的各个子任务，确定卸载时刻执行卸载策略对设备UE上子任务进行卸载计算所对应的卸载规则，然后进入步骤C；步骤C. 基于深度强化学习构建以上一卸载时刻 由MEC服务器剩余可服务子资源个数、参与卸载策略的设备UE个数、以及每个设备UE否存在正在执行子任务构成的环境状态为入参，卸载时刻所对应的卸载策略为结果的神经网络，结合各个设备UE根据卸载时刻环境状态应用贪婪策略做出的卸载策略，获得各卸载时刻下的不同卸载策略、以及相应环境状态，并获得各卸载时刻下执行各卸载策略分别对应环境状态变化的奖励，然后进入步骤D；步骤D. 根据各卸载时刻下的不同卸载策略、相应环境状态，以及执行各卸载策略分别对应环境状态变化的奖励，获得各卸载时刻下不同卸载策略与相应环境状态组合分别对应的优化Q值，然后进入步骤E；步骤E. 基于各卸载时刻下不同卸载策略与相应环境状态组合分别对应的优化Q值，结合耗能目标函数，按依次各卸载时刻下单个优化Q值之间的组合，获得最优组合，进而应用最优组合中各卸载时刻下的卸载策略完成各设备UE上单个主任务的卸载计算。2.根据权利要求1所述一种多接入边缘计算非独立性任务卸载方法，其特征在于：所述步骤B中，基于主任务处理完成的设备UE不参与卸载策略，针对各设备UE上实时未完成的各个子任务，确定卸载时刻执行卸载策略对设备UE上子任务进行卸载计算所对应的卸载规则如下，表示第个卸载时刻；规则1. 设备UE在一个卸载时刻只能执行一个子任务，且单个设备UE卸载至MEC服务器上执行的子任务的个数上限为该设备UE实时未完成子任务的个数；规则2. 各个主任务在同一卸载时刻只能在一个服务系统上执行，即设备UE与MEC服务器不能同时执行相同的主任务；规则3. 各个设备UE进行子任务卸载的优先级算法采用短任务优先，短任务优先级的判定标准是在卸载时刻，依据计算各个设备UE实时未完成子任务全部在其设备UE本地执行所用的时间，以耗时由小至大对应设备UE的优先级由高至低，当MEC服务器资源不足时，优先级高的设备UE拥有子任务卸载数量的优先选择权；规则4. 主任务对应卸载时刻已无子任务待执行时，则从系统中释放该子任务对应资
源，不参与该卸载时刻的卸载策略；规则5. 当上一个卸载时刻时，主任务卸载至MEC服务器的子任务未执行完成，则主任务对应编号的设备UE在卸载时刻不卸载子任务至MEC服务器，即，该主任务的子任务仍继续在MEC服务器上执行；表示编号的设备UE上的主任务，，表示卸载时刻所对应的卸载策略，表示卸载时刻所对应卸载策略中编号的设备UE的卸载动作；规则6. 当上一个卸载时刻时，主任务未卸载子任务至MEC服务器，且有子任务在设备UE本地执行中，即主任务对应的设备UE本地执行的子任务未完成，则继续在设备UE本地执行未完成的子任务，即；规则7. 当上一个卸载时刻时，主任务卸载至MEC服务的子任务全部执行完成时，且仍有子任务待执行，则本次卸载时刻所对应卸载策略中子任务卸载动作取值范围为，当的值大于MEC服务器剩余可服务的子资源个数时，则按照任务优先级令取值为MEC服务器剩余可服务的子资源个数，若时，则参考卸载规则9；规则8. 当上一个卸载时刻时，主任务未卸载任务至MEC服务器，但该主任务在卸载时刻时刻执行的子任务在卸载时刻前已执行完成，且该主任务仍有子任务待执行，则卸载时刻的任务卸载动作取值范围为，当的值大于MEC服务器剩余可服务子资源个数时，则按照任务优先级令取值为MEC服务器剩余可服务子资源个数，若时，则参考卸载规则9；规则9. 卸载时刻所对应卸载策略中编号的设备UE的卸载动作时，则在设备UE本地执行其主任务剩余子任务中排序第一个子任务。3.根据权利要求1所述一种多接入边缘计算非独立性任务卸载方法，其特征在于：所述步骤C中根据各卸载时刻下的不同卸载策略、以及相应环境状态，分别针对各卸载时刻，按如下公式：获得卸载时刻下执行卸载策略对应环境状态变化的奖励，进而获得各卸载时刻下
执行各卸载策略分别对应环境状态变化的奖励；其中，表示在卸载时刻、编号的设备UE采取卸载动作对应的子任务以设备UE的计算能力算...

【专利技术属性】
技术研发人员：孙君，周子凡，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：