一种基于深度强化学习的边缘计算任务卸载方法技术

本发明专利技术属于边缘计算领域，公开了一种基于深度强化学习的边缘计算任务卸载方法，包括步骤A：建立系统模型；步骤B：本地计算模式下任务都在设备上计算并且同时获取能量；步骤C：边缘计算模式下设备将任务卸载到边缘节点上计算；步骤D：卸载决策问题建模；步骤E：通过DDPG算法模型中加入一层长短期记忆网络LSTM选择最优卸载决策。本发明专利技术在DDPG主网络中加入了一层长短期记忆网络LSTM，由于LSTM网络长短期记忆功能，可以记录当前环境状态之前一段时间地环境状态，再与当前检测到的环境状态整合，就可以更加准确地得到当前环境状态，由此可以让系统做出更加准确地动作，生成我们需要的优化策略，提高了系统整体性能。提高了系统整体性能。提高了系统整体性能。

【技术实现步骤摘要】
一种基于深度强化学习的边缘计算任务卸载方法


[0001]本专利技术属于边缘计算领域，尤其涉及一种基于深度强化学习的边缘计算任务卸载方法。

技术介绍

[0002]随着智能设备的发展，生活中存在的智能设备越来越多，因此我们产生的计算任务也逐渐增多，为了降低智能设备的计算压力以及处理一些设备无法直接计算的任务，边缘计算(MEC)就应运而生。MEC架构通常包含一个云服务中心，多个边缘计算服务器和多个智能设备，MEC技术通常将边缘服务器部署在靠近智能设备的位置，这个靠近指的是物理距离或者网络距离。因此，当智能设备上有任务需要计算，而智能设备本身的计算能力无法满足需求时，可以将计算任务卸载到距离较近的边缘服务器上，边缘服务器可以快速响应用户服务请求，在降低时延方面有很大优势，对于时延要求高的应用非常适合MEC，比如网络直播，VR等等。随着越来越多的研究者加入到了边缘计算的相关研究中，边缘计算中的任务卸载问题也得到了很好的发展，对于之前的研究，大多关注在计算资源和网络资源分配方面的优化。当卸载任务较少时，系统可以简单地选择附近地边缘计算服务器卸载任务，当计算任务过大时，边缘服务器无法满足，就再卸载到云计算中心，此时系统就相当于云计算。而当智能设备过多时，计算任务也随之增加，此时一些临近多智能设备的边缘服务器可能会面临过多任务同时卸载，压力过大，就会增加任务计算的时延，从而出现因为总体资源分配不当而导致系统整体性能下降的情况。
[0003]在当前的发展场景下，大多数现实应用的存在，导致边缘服务器也需要面临很多卸载任务的压力，这会影响我们整个系统的性能。因此，对于如何在多场景多任务的情况下，我们的系统对于不同的任务去选择合适的边缘服务器卸载成为了我们需要考虑的问题，这个问题的解决能够提升系统整体的性能。

技术实现思路

[0004]本专利技术目的在于提供一种基于深度强化学习的边缘计算任务卸载方法, 以解决边缘服务器卸载任务压力过大时系统性能降低的技术问题。
[0005]为解决上述技术问题，本专利技术的一种基于深度强化学习的边缘计算任务卸载方法的具体技术方案如下：
[0006]一种基于深度强化学习的边缘计算任务卸载方法，设置工作环境为无线充电环境，设备可通过无线接收器由访问接入点获得能量，包括如下步骤：
[0007]步骤A：建立系统模型；
[0008]步骤B：本地计算模式下任务都在设备上计算并且同时获取能量；
[0009]步骤C：边缘计算模式下设备将任务卸载到边缘节点上计算；
[0010]步骤D：卸载决策问题建模；
[0011]步骤E：通过DDPG算法模型中加入一层长短期记忆网络LSTM选择最优卸载决策。
[0012]进一步地，所述步骤A包括如下具体步骤：
[0013]步骤A1：由一个访问接入点AccessPoint和N个固定无线设备fixedWirelessDevices组成的边缘计算网络MECnetwork，表示为集合N＝{1,2,...,N}；
[0014]步骤A2：每个设备使用时分复用电路，避免通信之间的干扰；
[0015]步骤A3：系统时间被划分为长度相等的连续时间帧Τ；
[0016]步骤A4：每个标记时间，无线设备储存的能量和它们之间的通信速度都与无线信道增益有关；
[0017]步骤A5：在一个时间帧的开始，aΤ的时间量用于设备充电，这里a∈[0,1]；步骤A6：第i个设备收获能量：E
i
＝μPh
i
aΤ，μ∈(0,1)表示能量收集效率，P代表能量传输效率，h
i
是接入点和设备i之间的信道增益；
[0018]步骤A7：每个设备利用获得的能量，在一个时间帧结束之前完成一个计算任务；
[0019]步骤A8：w
i
表示分配给设备i的权重；w
i
越大，分配给设备i的计算速率就越大；
[0020]步骤A9：使用一个二进制卸载策略，这个任务要么在本地计算，要么卸载到AccessPoint执行计算，x
i
＝1表示user
i
将计算任务卸载到AccessPoint，x
i
＝0表示任务在本地执行计算。
[0021]进一步地，所述步骤B包括如下具体步骤：
[0022]步骤B1：设备处理的比特数：f
i
t
i
/φ，
[0023]f
i
表示设备iCPU计算速度，
[0024]t
i
表示设备i计算时间，0≤t
i
≤Τ，
[0025]φ表示处理1bit任务数据所需的cycles，φ>0；
[0026]步骤B2：由于计算而产生的能量消耗受k
i
f
i3
t
i
≤E
i
的约束，k
i
表示计算能效系数；
[0027]步骤B3：由上述内容得到本地计算速率：
[0028][0029]固定参数：进一步地，所述步骤C包括如下具体步骤：
[0030]步骤C1：设备在具有能量时将任务卸载到边缘节点上计算；
[0031]步骤C2：假定AccessPoint的计算速率和传输速率比大小及资源受限的设备大三个数量级以上，则忽略AccessPoint在任务计算和下载上花费的时间，得到：
[0032]步骤C3：设备在任务卸载时耗尽其收获的能量才能得到最大的计算速率，
[0033]此时：因此得到计算速率为：
[0034]Β为通信带宽，N0为接收器噪声功率，τ
i
Τ假定为设备i的卸载时间。
[0035]进一步地，所述步骤D包括如下具体步骤：
[0036]步骤D1：假定只有无线信道增益h＝{h
i
|i∈N}是时变的，将此参数作为系统环境
变量输入，其他参数固定，在一个标记时间帧中，得到系统的计算速率：
[0037][0038]x＝{x
i
|i∈N}
[0039]τ＝{τ
i
|i∈N}
[0040]步骤D2：对于每一个时间帧的信道增益h，得到最大的速率加权和：
[0041][0042][0043][0044]x
i
∈{0,1}
[0045]如果设备i本地计算，即x
i
＝0，可以推断：τ
i
＝0，
[0046]通过算法得到卸载决策x后问题表示如下：
[0047][0048][0049][0050]进一步地，所述步骤E包括如下具体步骤：
[0051]步骤E1：首先在第t个时间帧由环境向actor输出环境状态量；
[0052]步骤E2：环境状态量经过LSTM网络层得到真是的环境状态输入到actor 的主网络中，actor当前状态做出动作a；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的边缘计算任务卸载方法，设置工作环境为无线充电环境，设备可通过无线接收器由访问接入点获得能量，其特征在于，包括如下步骤：步骤A：建立系统模型；步骤B：本地计算模式下任务都在设备上计算并且同时获取能量；步骤C：边缘计算模式下设备将任务卸载到边缘节点上计算；步骤D：卸载决策问题建模；步骤E：通过DDPG算法模型中加入一层长短期记忆网络LSTM选择最优卸载决策。2.根据权利要求1所述的基于深度强化学习的边缘计算任务卸载方法，其特征在于，所述步骤A包括如下具体步骤：步骤A1：由一个访问接入点Access Point和N个固定无线设备fixed Wireless Devices组成的边缘计算网络MEC network，表示为集合N＝{1,2,...,N}；步骤A2：每个设备使用时分复用电路，避免通信之间的干扰；步骤A3：系统时间被划分为长度相等的连续时间帧Τ；步骤A4：每个标记时间，无线设备储存的的能量和它们之间的通信速度都与无线信道增益有关；步骤A5：在一个时间帧的开始，aΤ的时间量用于设备充电，这里a∈[0,1]；步骤A6：第i个设备收获能量：E
i
＝μPh
i
aΤ，μ∈(0,1)表示能量收集效率，P代表能量传输效率，h
i
是接入点和设备i之间的信道增益；步骤A7：每个设备利用获得的能量，在一个时间帧结束之前完成一个计算任务；步骤A8：w
i
表示分配给设备i的权重；w
i
越大，分配给设备i的计算速率就越大；步骤A9：使用一个二进制卸载策略，这个任务要么在本地计算，要么卸载到Access Point执行计算，x
i
＝1表示user
i
将计算任务卸载到Access Point，x
i
＝0表示任务在本地执行计算。3.根据权利要求1所述的基于深度强化学习的边缘计算任务卸载方法，其特征在于，所述步骤B包括如下具体步骤：步骤B1：设备处理的比特数：f
i
t
i
/φ，f
i
表示设备iCPU计算速度，t
i
表示设备i计算时间，0≤t
i
≤Τ，φ表示处理1bit任务数据所需的cycles，φ&gt;0；步骤B2：由于计算而产生的能量消耗受k
i
f
i3
t
i
≤E
i
的约束，k
i
表示计算能效系数；步骤B3：由上述内容得到本地计算速率：固定参数：4.根据权利要求1所述的基于深度强化学习的边缘计算任务卸载方法，其特征在于，所述步骤C包括如下具体步骤：步骤C1：设备在...

【专利技术属性】
技术研发人员：朱明刚，谢满德，俞军，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：