基于深度Q学习的移动边缘计算中卸载决策方法及系统技术方案

基于深度Q学习的移动边缘计算中卸载决策方法及系统，它属于移动边缘计算系统中移动设备的卸载决策技术领域。本发明专利技术解决了现有移动边缘计算系统中卸载决策过程产生的时延大、能耗高的问题。本发明专利技术将深度强化学习算法应用到移动边缘计算中的卸载决策问题，根据系统中建立的本地计算队列，任务传输队列，边缘服务器队列等任务调度模型，设计对应的系统状态，动作和奖励方程。通过对比本发明专利技术方法与其他算法的平均时延和能耗，可以得出，本发明专利技术的卸载决策方法极大的降低了移动边缘计算系统中卸载决策过程产生的时延与能耗。本发明专利技术方法可以应用于移动边缘计算系统中移动设备的卸载决策。用于移动边缘计算系统中移动设备的卸载决策。用于移动边缘计算系统中移动设备的卸载决策。

Unloading decision method and system in mobile edge computing based on deep Q-learning

【技术实现步骤摘要】
基于深度Q学习的移动边缘计算中卸载决策方法及系统


[0001]本专利技术属于移动边缘计算系统中移动设备的卸载决策
，具体涉及一种基于深度Q学习的移动边缘计算中卸载决策方法及系统。

技术介绍

[0002]随着5G和物联网技术的飞速发展，人们已经步入了一个万物互联的新世界。近年来，具有联网功能的移动设备，如智能手机，智能家电，智能穿戴设备等数目呈井喷式增长，与此同时，诸如虚拟现实，实时路径规划，在线视频处理等新功能的出现也对数据传输和数据计算的能力提出了更为严格的要求。如何找到一种有效的方式解决物联网设备对于数据传输和数据计算的需要是一个急需解决的难题，移动边缘计算成为了一种有效的解决方案。
[0003]虽然现有的移动边缘计算方法已经取得了一定的成就，但是现有的移动边缘计算系统中卸载决策过程产生的时延仍然较大，产生的能耗仍然较高，因此，为移动边缘计算系统提出一种卸载决策的方法以降低卸载决策过程产生的时延与能耗是十分必要的。

技术实现思路

[0004]本专利技术的目的是为解决现有移动边缘计算系统中卸载决策过程产生的时延大、能耗高的问题，而提出的一种基于深度Q学习的移动边缘计算中卸载决策方法及系统。
[0005]本专利技术为解决上述技术问题所采取的技术方案是：
[0006]基于本专利技术的一个方面，基于深度Q学习的移动边缘计算中卸载决策方法，所述方法具体包括以下步骤：
[0007]步骤一、强化学习模型构建
[0008]根据任务特性构建马尔可夫决策过程中的系统状态、系统动作和奖励函数；
[0009]步骤二、神经网络构建
[0010]构建包括输入层、LSTM层、第一FC层、第二FC层和输出层的神经网络，输入层用于将系统状态信息传递给LSTM层和第一FC层，并将LSTM层的输出作为第一FC层的输入；
[0011]再将第一FC层的输出作为第二FC层的输入，将第二FC层的输出作为输出层的输入。
[0012]进一步地，所述系统状态的构建方式为：
[0013]将当前时隙开始时移动设备m的自身任务大小表示为λ
m
(t)，若当前时隙开始时移动设备m存在新的任务k(t)，则λ
m
(t)＝k(t)，否则λ
m
(t)＝0；
[0014]构建本地计算队列、任务传输队列和边缘节点计算队列，将当前时隙开始时移动设备m的自身任务在本地计算队列中需要等待的时隙数表示为将当前时隙开始时移动设备m的自身任务在任务传输队列中需要等待的时隙数表示为将移动设备m在边缘节点n处的队列长度表示为
[0015]构建表示当前时隙之前的T个时隙内每个边缘服务器负载水平的矩阵M(t)，M(t)的维度为T
×
N，N是边缘服务器的个数；
[0016]则移动设备m在当前时隙处观察到的系统状态s
m
(t)为：
[0017][0018]进一步地，所述系统动作表示为a(t)＝{0，1，2，
…
，N}，其中，0表示本地计算，k＝1，2，
…
，N，k表示卸载的边缘服务器的序号。
[0019]进一步地，所述奖励函数的构建方式为：
[0020]若任务被决策为本地计算，则任务等待的时隙数为：
[0021][0022]其中，表示在时隙t
′
产生的任务在本地执行完成后的时刻；
[0023]任务本地计算中所需要的能量为：
[0024][0025]其中，ε
m
代表移动设备m本地计算时CPU的能耗系数，即本地CPU计算一个周期所消耗的能量，d
m
代表移动设备m当前产生的任务的计算量大小，即执行当前产生的任务需要的CPU计算周期数；
[0026]设置移动用户m对于时延和能耗的偏好系数分别为和那么移动用户m在卸载决策过程中的奖励函数为：
[0027][0028]其中，R为奖励函数值，T为移动用户m在本地计算时产生的总时延，即T等于任务排队等待的时隙数目与任务在本地执行过程中产生的时延之和，E为移动用户m产生的总能耗，即
[0029]进一步地，所述奖励函数的构建方式为：
[0030]若任务被决策为边缘计算，则任务等待的时隙数通过在边缘服务器n执行完成后的时刻来计算，即任务等待的时隙数为
[0031]任务边缘计算中所需要的能量包括任务上传和任务执行两个部分，将任务上传时移动设备的功率表示为p
up
，将任务执行时移动设备的功率表示为p
e
，则对于移动设备m，所需要的能量为：
[0032][0033]其中，t
n,up
代表移动设备m将任务上传到边缘服务器n中消耗的时间，t
n,e
代表移动设备m在边缘服务器n中执行任务所消耗的时间。
[0034]此时，用户在卸载决策过程中的奖励函数为：
[0035][0036]其中，R为奖励函数值，T是任务排队产生的总时延任务上传到边缘服务器n产生的时延t
n,up
以及任务在边缘服务器n执行产生的时延t
n,e
的和，E是边缘计算产生的总能耗，即
[0037]进一步地，所述奖励函数的构建方式为：
[0038]若在任务执行完成前已经达到了任务所允许的最大延迟时间，则任务被丢弃，将此时的奖励函数值R设定为一个固定的惩罚值P。
[0039]进一步地，所述LSTM层用于根据矩阵M(t)预测边缘服务器负载水平的时间相关性。
[0040]进一步地，所述第一FC层和第二FC层用于学习系统状态到系统动作奖励函数值的映射，第一FC层和第二FC层均包含一组具有整流线性单元的神经元。
[0041]更进一步地，所述输出层用于输出当前系统状态采用当前选择的动作对应的奖励函数值。
[0042]基于本专利技术的另一个方面，基于深度Q学习的移动边缘计算中卸载决策系统，所述系统用于执行基于深度Q学习的移动边缘计算中卸载决策方法。
[0043]本专利技术的有益效果是：
[0044]本专利技术将深度强化学习算法应用到移动边缘计算中的卸载决策问题，根据系统中建立的本地计算队列，任务传输队列，边缘服务器队列等任务调度模型，设计对应的系统状态，动作和奖励方程。通过对比本专利技术方法与其他算法的平均时延和能耗，可以得出，本专利技术的卸载决策方法极大的降低了移动边缘计算系统中卸载决策过程产生的时延与能耗。
附图说明
[0045]图1为本专利技术构建的神经网络结构图；
[0046]图2为本专利技术方法的奖励函数值随迭代次数收敛曲线图；
[0047]图3为本专利技术方法与其他三种基线算法的平均奖励值随用户数目变化曲线图；
[0048]图4为本专利技术方法与其他三种基线算法的平均时延随用户数目变化曲线图。
具体实施方式
[0049]具体实施方式一、本实施方式针对MEC系统中多移动设备多服务器的网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度Q学习的移动边缘计算中卸载决策方法，其特征在于，所述方法具体包括以下步骤：步骤一、强化学习模型构建根据任务特性构建马尔可夫决策过程中的系统状态、系统动作和奖励函数；步骤二、神经网络构建构建包括输入层、LSTM层、第一FC层、第二FC层和输出层的神经网络，输入层用于将系统状态信息传递给LSTM层和第一FC层，并将LSTM层的输出作为第一FC层的输入；再将第一FC层的输出作为第二FC层的输入，将第二FC层的输出作为输出层的输入。2.根据权利要求1所述的基于深度Q学习的移动边缘计算中卸载决策方法，其特征在于，所述系统状态的构建方式为：将当前时隙开始时移动设备m的自身任务大小表示为λ
m
(t)，若当前时隙开始时移动设备m存在新的任务k(t)，则λ
m
(t)＝k(t)，否则λ
m
(t)＝0；构建本地计算队列、任务传输队列和边缘节点计算队列，将当前时隙开始时移动设备m的自身任务在本地计算队列中需要等待的时隙数表示为将当前时隙开始时移动设备m的自身任务在任务传输队列中需要等待的时隙数表示为将移动设备m在边缘节点n处的队列长度表示为构建表示当前时隙之前的T个时隙内每个边缘服务器负载水平的矩阵M(t)，M(t)的维度为T
×
N，N是边缘服务器的个数；则移动设备m在当前时隙处观察到的系统状态s
m
(t)为：3.根据权利要求2所述的基于深度Q学习的移动边缘计算中卸载决策方法，其特征在于，所述系统动作表示为a(t)＝{0，1，2，
…
，N}，其中，0表示本地计算，k＝1，2，
…
，N，k表示卸载的边缘服务器的序号。4.根据权利要求3所述的基于深度Q学习的移动边缘计算中卸载决策方法，其特征在于，所述奖励函数的构建方式为：若任务被决策为本地计算，则任务等待的时隙数为：其中，表示在时隙t
′
产生的任务在本地执行完成后的时刻；任务本地计算中所需要的能量为：其中，ε
m
代表移动设备m本地计算时CPU的能耗系数，即本地CPU计算一个周期所消耗的能量，d
m
代表移动设备m当前产生的任务的计算量大小，即执行当前产生的任务需要的CPU计算周期数；设置移动用户m对...

【专利技术属性】
技术研发人员：杨柱天，朱伟强，杨蔚，佟令宇，杨佳敏，陈迪，
申请(专利权)人：中国航天科工集团八五一一研究所，
类型：发明
国别省市：